统计推断-续

.title[
# 统计推断-续
]
.subtitle[
## 社会统计学——第8讲
]
.author[
### 李代
]
.institute[
### 中国政法大学社会学院
]
.date[
### 2025-04-15
]

---

# 统计推断-续

## 单总体检验

## 双总体检验

## 其他t检验

---

# 单总体检验

## 回顾：假设检验

假如抽到的样本平均数是0.06.

![](stat-inference2_files/figure-html/unnamed-chunk-3-1.png)
---

# 单总体检验

## 标准化

在

1. 原假设为真（ `$\mu = x_0$`）且

1. 样本为大样本（ `$n > 30|50$`）

的条件下，样本均值的抽样分布符合一个正态分布，这个正态分布的均值为 `$\mu_{\bar{x}} = x_0$`， 标准差为 `$\sigma_{\bar{x}} = \frac{\sigma}{\sqrt{n}}$`，其中 `$\sigma$`可以用样本标准差 `$sd_{x}$`进行无偏估计。

问题：每次获得一个新的样本数据，相应的抽样分布也是不同的，需要用新的参数进行计算。

解决方案：标准化

---

# 单总体检验

## 标准化

假设有一个连续变量 `$x$`， `$x \in [x_1, x_2, \dotsc ,x_n]$`。其平均值为

`$$\bar{x} = \frac{x_1 + x_2 + ... + x_n}{n}$$`

假如让 `$x$` 的每一个值都减 `$\bar{x}$` 得到 `$x'$`，也就是 `$x_i' = x_i - \bar{x}$`， 此时 `$x'$`的均值是多少？

$$
`\begin{aligned}
\bar{x'} &= \frac{x'_1 + x'_2 + \cdots + x_n'}{n} \\
  &= \frac{(x_1 -\bar{x}) + (x_2 -\bar{x}) + \cdots + (x_n -\bar{x})}{n} \\
  &= \frac{x_1 + x_2 + \cdots + x_n - n \times \bar{x}}{n} \\
  &= \frac{x_1 + x_2 + \cdots + x_n}{n} - \frac{n \times \bar{x}}{n} \\
  &= \bar{x} - \bar{x} \\
  &= 0
\end{aligned}`
$$

---

# 单总体检验

## 标准化

`$x'$`的（总体）标准差如何变化？

`$$sd_{x} = \sqrt{\frac{\sum_{i=1}^n (x_i - \bar{x})^2}{n}}$$`

$$
`\begin{aligned}
sd_{x'} &= \sqrt{{\frac{\sum_{i=1}^n (x'_i - \bar{x'})^2}{n}}} \\
  &= \sqrt{{\frac{\sum_{i=1}^n (x_i - \bar{x} - \bar{x'})^2}{n}}} \\
  &= \sqrt{{\frac{\sum_{i=1}^n (x_i - \bar{x} - 0)^2}{n}}} \\
  &= sd_{x} 
\end{aligned}`
$$

---

# 单总体检验

## 标准化

让 `$x$` 的每一个值除以 `$sd_{x}$`，得到 `${x''}$`，即 `${x_i''} = \frac{x_i}{sd_{x}}$`，此时其平均值为

$$
`\begin{aligned}
\bar{x''} 
  &= \frac{x''_1 + x''_2 + \cdots + x_n''}{n} \\
  &= \frac{\frac{x_1}{sd_x} + \frac{x_2}{sd_x} + \cdots + \frac{x_n}{sd_x} }{n} \\
  &= \frac{x_1 + x_2 + \cdots + x_n}{n} \times \frac{1}{sd_x} \\
  &= \frac{\bar{x}}{sd_x}
\end{aligned}`
$$

---

# 单总体检验

## 标准化

`$x''$`的标准差如何变化？

$$
`\begin{aligned}
sd_{x''} &= \sqrt{{\frac{\sum_{i=1}^n (x_i'' - \bar{x''})^2}{n}}} \\
  &=  \sqrt{{\frac{\sum_{i=1}^n (\frac{x_i}{sd_{x}} - \frac{\bar{x}}{sd_x})^2}{n}}} \\
  &= \sqrt{{\frac{\sum_{i=1}^n \frac{(x_i - \bar{x})^2}{sd_x^2}}{n}}} \\
  &= \sqrt{{\frac{ \frac{\sum_{i=1}^n(x_i - \bar{x})^2}{\frac{\sum_{i=1}^n (x_i - \bar{x})^2}{n}}}{n}}} \\  &= 1
\end{aligned}`
$$

---

# 单总体检验

## 标准化

对于任何连续变量 `$x$`，使其每个值 `$x_i$`减 `$\bar{x}$`，再除以标准差 `$sd_x$`，得到新变量的平均值为 `$0$`，标准差为 `$1$`。

这是最常见的一种对数据进行标准化的方式。

$$ x_{normalized} = \frac{x-\bar{x}}{sd_x}$$

---

# 单总体检验

## 统计量 `$Z$`

在假设检验当中，样本均值 `$\bar{x}$` 是整个抽样分布中的一个观察值，对构成这个抽样分布的全部 `$\bar{x}$` 可以进行标准化。

1. 原假设假定 `$\mu = \mu_0$`，也就相当于这个抽样分布的均值被假设等于 `$\mu_0$`。

1. 抽样分布的标准差为 `$\frac{\sigma}{\sqrt{n}}$`，如果总体方差已知，可以求解抽样分布的标准差；如果总体方差未知，对于大样本，总体方差 `$\sigma$` 可以用样本标准差 `$sd_x$` 进行无偏估计，得到近似的抽样分布标准差 `$\frac{sd_x}{\sqrt{n}}$`。

此时对 `$\bar{x}$` 这一个观测值进行标准化：

$$ Z = \frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} $$

可知，

$$ Z \sim N (0,1) $$

---

# 单总体检验

##  `$Z$`检验

![](stat-inference2_files/figure-html/unnamed-chunk-5-1.png)

---

# 单总体检验

## 单尾 `$Z$`检验

![](stat-inference2_files/figure-html/unnamed-chunk-6-1.png)

---

# 单总体检验

## 单边（单尾） `$Z$`检验

若 `$n > 30|50$`，要进行的是大样本总体均值检验，应采用单尾 `$Z$` 检验。

原假设： `$H_0: \mu = \mu_0$`

备择假设： `$H_1: \mu > \mu_0$` （或 `$H_1: \mu < \mu_0$`）

统计量： `$Z = \frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \sim N (0,1)$`

其中，（如果题中告知了则使用 `$\sigma$`，否则） `$\sigma \approx sd_x$`

计算可得 `$Z$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\alpha}$`。

如果 `$Z > Z_{\alpha}$` （ `$H_1: \mu > \mu_0$`） 或

如果 `$Z < Z_{\alpha}$` （ `$H_1: \mu < \mu_0$`）

拒绝原假设，接受备择假设，即 `$\mu$` 显著地大于（或小于） `$\mu_0$`。

否则，没有充分证据拒绝原假设，即 `$\mu$` 不显著地大于（或小于） `$\mu_0$`。

---

# 单总体检验

## 双尾 `$Z$`检验

![](stat-inference2_files/figure-html/unnamed-chunk-7-1.png)

---

# 单总体检验

## 双边（双尾） `$Z$`检验

若 `$n > 30|50$` 要进行的是大样本总体均值检验，应采用双尾 `$Z$` 检验。

原假设： `$H_0: \mu = \mu_0$`

备择假设： `$H_1: \mu \neq \mu_0$`

统计量： `$Z = \frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \sim N (0,1)$`

其中，（如果题中告知了则使用 `$\sigma$`，否则） `$\sigma \approx sd_x$`

计算可得 `$Z$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\frac{\alpha}{2}}$` 、 `$-Z_{\frac{\alpha}{2}}$`。

如果 `$Z > Z_{\frac{\alpha}{2}}$`  或 `$Z < -Z_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$\mu$` 显著地不等于 `$\mu_0$`

否则，没有充分证据拒绝原假设，即 `$\mu$` 不显著地不等于 `$\mu_0$`

---

# 单总体检验

## 使用 `$Z$`检验的条件

限于卢淑华教材所述：

1. 大样本均值检验

1. 正态总体，小样本，总体方差已知（题中告知）

---

# 双总体检验

##  `$t$`检验

如果是正态总体，小样本，总体方差未知

此时样本均值不再符合正态分布，而符合参数为 `$n-1$`的 `$t$` 分布，采用 `$t$`检验。

$$ t = \frac{\bar{x}-\mu_0}{\frac{sd_x}{\sqrt{n}}} \sim t(n-1)$$

解题步骤与 `$Z$`检验类似，这里不赘述。注意，  `$Z$`检验查正态分布表，  `$t$`检验查 `$t$`检验表。

---

# 单总体检验

## 双边（双尾） `$t$`检验

如果 `$n < 30|50$`，要进行的是方差未知情况下的小样本总体均值检验，应采用双尾 `$t$` 检验。

原假设： `$H_0: \mu = \mu_0$`

备择假设： `$H_1: \mu \neq \mu_0$`

统计量： `$t = \frac{\bar{x}-\mu_0}{\frac{sd_x}{\sqrt{n}}} \sim t(n-1)$`

计算可得 `$t$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$t_{\frac{\alpha}{2}}$` 、 `$-t_{\frac{\alpha}{2}}$`。

如果 `$t > t_{\frac{\alpha}{2}}$`  或 `$t < -t_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$\mu$` 显著地不等于 `$\mu_0$`。

否则，没有充分证据拒绝原假设，即 `$\mu$` 不显著地不等于 `$\mu_0$`。

---

# 单总体检验

## 大样本总体成数检验

定类二分变量，或者说仅有两个取值的定类变量，其中一种取值在总体中所占比例称为总体成数，在样本中所占比例称为样本成数。

例如：卡池里有四星卡、五星卡两种卡，五星卡在卡池中比例是五星卡的总体成数，在样本中占比是五星卡的样本成数。

样本成数： `$\hat{p}$`

总体成数： `${p}$`

---

# 单总体检验

## 大样本总体成数检验

在大样本情况下，样本成数趋向正态分布 `$\hat{p} \sim N(p, \sigma_\hat{p}^2)$`。

大样本： `$np \ge 5$` 且 `$n(1-p) \ge 5$`

`$$\sigma_\hat{p}^2 = \frac{p(1-p)}{n}$$`

因此，可以对总体成数进行  `$Z$`检验。

---

# 单总体检验

## 大样本总体成数检验

如果 `$np \ge 5$` 且 `$n(1-p) \ge 5$`，要进行的是大样本总体成数检验，应采用双尾 `$Z$` 检验。

原假设： `$H_0: p = p_0$`

备择假设： `$H_1: p \neq p_0$`

统计量： `$Z = \frac{\hat{p} - p_{0}}{\sqrt{\frac{p_{0}(1-p_{0})}{n}}}$`

计算可得 `$Z$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\frac{\alpha}{2}}$` 、 `$-Z_{\frac{\alpha}{2}}$`。

如果 `$Z > Z_{\frac{\alpha}{2}}$`  或 `$Z < -Z_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$p$` 显著地不等于 `$p_0$`。

否则，没有充分证据拒绝原假设，即 `$p$` 不显著地不等于 `$p_0$`。

---

# 双总体检验

---

# 双总体检验

## 大样本总体均值差

正态分布有一个数学性质：两个符合正态分布的量互相进行加减法运算，差仍然符合正态分布。

若

$$ {x_a} \sim N(\mu_a, \sigma_a^2)$$

$$ {x_b} \sim N(\mu_b, \sigma_b^2)$$

则

$$ {x_a} - {x_b} \sim N(\mu_a - \mu_b, \sigma_a^2 + \sigma_b^2)$$

因此两个大样本的均值差可以应用 `$Z$`检验。

---

# 双总体检验

## 大样本总体均值差

两个大样本的均值差 `$\bar{x_a} - \bar{x_b}$` 符合正态分布，

$$ Z = \frac{(\bar{x_a} - \bar{x_b}) - (\mu_a - \mu_b)}{\sqrt{\frac{\sigma_a^2}{n_a} + \frac{\sigma_b^2}{n_b}}} \sim N(0,1)$$

其中，如果两个总体的标准差告知可用总体标准差，否则用各自样本标准差来对总体标准差进行无偏估计

---

# 双总体检验

## 大样本总体均值差

若 `$n_a > 30|50$` 且 `$n_b > 30|50$`，要进行的是大样本总体均值差检验，应采用双尾 `$Z$` 检验。

原假设： `$H_0: \mu_a  - \mu_b = d_0$`

备择假设： `$H_1: \mu_a  - \mu_b \neq d_0$`

统计量： `$Z = \frac{(\bar{x_a} - \bar{x_b}) - (\mu_a - \mu_b)}{\sqrt{\frac{\sigma_a^2}{n_a} + \frac{\sigma_b^2}{n_b}}} \sim N(0,1)$`

其中，（如果题中告知了则使用 `$\sigma_a$`、 `$\sigma_b$`，否则） `$\sigma_a \approx sd_a$`， `$\sigma_b \approx sd_b$`

计算可得 `$Z$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\frac{\alpha}{2}}$` 、 `$-Z_{\frac{\alpha}{2}}$`。

如果 `$Z > Z_{\frac{\alpha}{2}}$`  或 `$Z < -Z_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$\mu_a  - \mu_b$` 显著地不等于 `$d_0$`。

否则，没有充分证据拒绝原假设，即 `$\mu_a  - \mu_b$` 不显著地不等于 `$d_0$`。

---

# 双总体检验

## 大样本总体成数差

对于大样本， `$\hat{p} \sim N(p, \sigma_\hat{p}^2)$`，所以两个大样本的总体成数差也符合正态分布，可以采用 `$Z$`检验。

$$ Z = \frac{(\hat{p_a} - \hat{p_b}) - (p_a - p_b)}{\sqrt{\frac{p_a(1-p_a)}{n_a} + \frac{p_b(1-p_b)}{n_b}}} \sim N(0,1)$$

---

# 双总体检验

## 大样本总体成数差

如果 `$np_a \ge 5$` 且 `$n(1-p_a) \ge 5$` 且 `$np_b \ge 5$` 且 `$n(1-p_b) \ge 5$`，要进行的是大样本总体成数差检验，应采用双尾 `$Z$` 检验。

原假设： `$H_0: p_a  - p_b = d_0$`

备择假设： `$H_1: p_a  - p_b \neq d_0$`

统计量： `$Z = \frac{(\hat{p_a} - \hat{p_b}) - (p_a - p_b)}{\sqrt{\frac{p_a(1-p_a)}{n_a} + \frac{p_b(1-p_b)}{n_b}}} \sim N(0,1)$`

计算可得 `$Z$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\frac{\alpha}{2}}$` 、 `$-Z_{\frac{\alpha}{2}}$`。

如果 `$Z > Z_{\frac{\alpha}{2}}$`  或 `$Z < -Z_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$p_a  - p_b$` 显著地不等于 `$d_0$`。

否则，没有充分证据拒绝原假设，即 `$p_a  - p_b$` 不显著地不等于 `$d_0$`。

---

# 双总体检验

## 小样本总体均值差

1. 对于小样本，二总体为正态分布，二总体的标准差已知，可以采用 `$Z$`检验。

1. 对于小样本，二总体为正态分布，二总体的标准差未知，但知道两个样本**各自独立抽取**且**标准差相等**，可以采用 `$t$`检验。

---

# 双总体检验

## 小样本总体均值差的 `$t$`检验

此时，首先用两个样本的标准差来加权平均得到总体标准差的无偏估计：

$$
sd^2 = \frac{n_a-1}{n_a-1+n_b-1}sd_a^2 + \frac{n_b-1}{n_a-1+n_b-1}sd_b^2
$$

则统计量t：

$$ t = \frac{(\bar{x_a} - \bar{x_b}) - (\mu_a - \mu_b)}{sd \sqrt{\frac{1}{n_a} + \frac{1}{n_b}}} \sim t(n_a + n_b -2)$$

---

# 双总体检验

## 小样本总体均值差的 `$t$`检验

如果样本是从两个总体中各自独立抽取的小样本，方差未知且相等，要进行的是小样本总体均值差检验，应采用双尾 `$t$` 检验。

原假设： `$H_0: \mu_a  - \mu_b = d_0$`

备择假设： `$H_1: \mu_a  - \mu_b \neq d_0$`

统计量： `$t = \frac{(\bar{x_a} - \bar{x_b}) - (\mu_a - \mu_b)}{sd \sqrt{\frac{1}{n_a} + \frac{1}{n_b}}} \sim t(n_a + n_b -2)$`

计算可得 `$t$` 值。根据显著性水平 `$\alpha$`，查表可知临界值 `$Z_{\frac{\alpha}{2}}$` 、 `$-Z_{\frac{\alpha}{2}}$`。

如果 `$t > t_{\frac{\alpha}{2}}$`  或 `$t < -t_{\frac{\alpha}{2}}$`

拒绝原假设，接受备择假设，即 `$\mu_a  - \mu_b$` 显著地不等于 `$d_0$`。

否则，没有充分证据拒绝原假设，即 `$\mu_a  - \mu_b$` 不显著地不等于 `$d_0$`。

---

# 其他t检验

---

# 其他t检验

## 类型

1. 单样本检验（已讲）

+ 跟一个特定的值进行对比
  + 例如：检验样本均值是否为0

1. 配对检验（未讲）

+ 样本对比的是来自同一总体的同一组对象
  + 例如：同一组人在实验前后的差别

1. 双独立样本检验（讲了一部分）

+ 样本两组分别来自不同的总体
  + 例如：比较北京人和上海人的平均身高

> 由于假设总体方差相等，需要先进行方差齐性检验，常用的是Levene's test。

---

# 其他t检验

## Welch 双样本检验

+ 假设分布正态，但不需要假设方差相等

例如：比较某省高考理科生，男生与女生总分的平均分差异。

---

# 其他t检验

原假设：男生与女生的总体平均分相等。

备择假设：女生的总体平均分高于男生（不相等）。

1. 描述统计：男生的平均分为388，女生平均分为402。

1. 方差齐性：Levene方差齐性检验发现，F统计量值为472.82，p值为0.000，小于0.05，说明二者方差显著不相等，应使用Welch双样本检验。

1. Welch双样本检验：t统计量值为-14.11，p值为0.000，说明二者平均分显著不相等，可以拒绝原假设（男生与女生的总体平均分相等）。

1. 结论：统计检验表明，该省理科的平均高考总分，女生显著高于男生。

---

# 其他t检验

## 数据生成

随机生成两组数据，分别是 `$N \sim (0,1)$`和 `$N \sim (0.1,0.9^2)$`。

``` r
m <- rnorm(10000, 0, 1)
f <- rnorm(10000, 0.1, 0.9)

mean(m)
```

```
## [1] -0.01373899
```

``` r
mean(f)
```

```
## [1] 0.1032231
```

---

# 其他t检验

## 单样本 `$t$`检验

m的均值是否为显著不0？

``` r
t.test(m, mu = 0)
```

```
## 
## 	One Sample t-test
## 
## data:  m
## t = -1.376, df = 9999, p-value = 0.1688
## alternative hypothesis: true mean is not equal to 0
## 95 percent confidence interval:
##  -0.033310761  0.005832787
## sample estimates:
##   mean of x 
## -0.01373899
```

---

# 其他t检验

## 双独立样本 `$t$`检验

m和f的样本如果是各自独立总体，均值是否显著不相等？

``` r
t.test(m, f, var.equal = T)
```

```
## 
## 	Two Sample t-test
## 
## data:  m and f
## t = -8.7166, df = 19998, p-value < 0.00000000000000022
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
##  -0.14326316 -0.09066095
## sample estimates:
##   mean of x   mean of y 
## -0.01373899  0.10322307
```

---

# 其他t检验

## Welch双样本 `$t$`检验

m和f的样本如果是各自独立总体但方差不相等，均值是否显著不相等？

``` r
t.test(m, f, var.equal = F)
```

```
## 
## 	Welch Two Sample t-test
## 
## data:  m and f
## t = -8.7166, df = 19770, p-value < 0.00000000000000022
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
##  -0.14326318 -0.09066093
## sample estimates:
##   mean of x   mean of y 
## -0.01373899  0.10322307
```

---

# 其他t检验

## 配对 `$t$`检验

m和f的样本如果来自配对样本，均值是否显著不相等？

``` r
t.test(m, f, paired = T)
```

```
## 
## 	Paired t-test
## 
## data:  m and f
## t = -8.7206, df = 9999, p-value < 0.00000000000000022
## alternative hypothesis: true mean difference is not equal to 0
## 95 percent confidence interval:
##  -0.14325259 -0.09067152
## sample estimates:
## mean difference 
##      -0.1169621
```

---

# 其他t检验

## 缺失值

在`R`当中，缺失值用`NA`来表示。判断一个值是否为`NA`，用`is.na()`函数，而不是`==`。

有些函数对`NA`敏感，需要预先处理。

``` r
mean(c(1,NA,2))
```

```
## [1] NA
```

``` r
c(1,NA,2) == NA
```

```
## [1] NA NA NA
```

``` r
is.na(c(1,NA,2))
```

```
## [1] FALSE  TRUE FALSE
```