📋 详细解题步骤
目标:写出似然函数
已知总体 $X \sim N(\mu_0, \sigma^2)$,其中 $\mu_0$ 为已知常数,$\sigma^2$ 为未知参数。设 $X_1, X_2, \ldots, X_n$ 为来自该总体的简单随机样本,其观测值为 $x_1, x_2, \ldots, x_n$。
正态总体的概率密度函数为:
$$ f(x; \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu_0)^2}{2\sigma^2}\right), \quad -\infty < x < +\infty, \sigma^2 > 0. $$
由于样本独立同分布,样本的联合概率密度函数(即似然函数)为各观测值密度函数的乘积:
$$ L(\sigma^2) = \prod_{i=1}^{n} f(x_i; \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu_0)^2}{2\sigma^2}\right). $$
将乘积展开,常数部分合并:
$$ L(\sigma^2) = \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu_0)^2\right). $$
进一步化简为:
$$ L(\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu_0)^2\right). $$
此即关于参数 $\sigma^2$ 的似然函数。
公式:$$ L(\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu_0)^2\right) $$
提示:注意 $\mu_0$ 已知,似然函数只含 $\sigma^2$,指数部分为平方和除以 $2\sigma^2$。
目标:取对数并求导
首先,写出样本的似然函数。设总体 $X \sim N(0, \sigma^2)$,则其概率密度函数为 $f(x; \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{x^2}{2\sigma^2}}$。对于独立同分布的样本 $X_1, X_2, \ldots, X_n$,似然函数为:
$$L(\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{X_i^2}{2\sigma^2}} = (2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n X_i^2\right).$$
对似然函数取自然对数,得到对数似然函数:
$$\ln L(\sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n X_i^2.$$
接下来,对 $\sigma^2$ 求导。注意 $\ln(\sigma^2)$ 对 $\sigma^2$ 的导数为 $\frac{1}{\sigma^2}$,而 $\frac{1}{\sigma^2}$ 对 $\sigma^2$ 的导数为 $-\frac{1}{(\sigma^2)^2}$。因此:
$$\frac{d}{d(\sigma^2)} \ln L(\sigma^2) = -\frac{n}{2} \cdot \frac{1}{\sigma^2} - \frac{1}{2} \cdot (-1) \cdot \frac{1}{(\sigma^2)^2} \sum_{i=1}^n X_i^2 = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum_{i=1}^n X_i^2.$$
整理得:
$$\frac{d \ln L}{d(\sigma^2)} = \frac{1}{2(\sigma^2)^2}\left(\sum_{i=1}^n X_i^2 - n\sigma^2\right).$$
此导数用于下一步令其为零以求解极大似然估计。
公式:$$\frac{d \ln L}{d(\sigma^2)} = \frac{1}{2(\sigma^2)^2}\left(\sum_{i=1}^n X_i^2 - n\sigma^2\right)$$
提示:注意对 $\sigma^2$ 整体求导,不要拆成 $\sigma$ 再求导,避免符号和系数错误。
目标:令导数为零解出MLE
由步骤2得到的对数似然函数为:
$$
\ln L(\mu,\sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2.
$$
为求$\sigma^2$的最大似然估计,将$\mu$视为已知(实际中可用其MLE $\hat{\mu}=\bar{x}$代入),对$\sigma^2$求偏导并令其为零:
$$
\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2}\cdot\frac{1}{\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum_{i=1}^n (x_i-\mu)^2 = 0.
$$
两边同乘以$2(\sigma^2)^2$得:
$$
-n\sigma^2 + \sum_{i=1}^n (x_i-\mu)^2 = 0.
$$
解得:
$$
\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\mu)^2.
$$
由于$\mu$未知,用其MLE $\hat{\mu}=\bar{x}$代替,得到$\sigma^2$的最大似然估计量为:
$$
\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2.
$$
公式:\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2
提示:求导时注意将$\sigma^2$视为整体变量,避免对$\sigma$求导的繁琐。
目标:计算MLE的期望
已知总体 $X \sim N(\mu_0, \sigma^2)$,其中 $\mu_0$ 已知,$\sigma^2$ 未知。样本为 $X_1, X_2, \dots, X_n$ 独立同分布。上一步骤已求得 $\sigma^2$ 的极大似然估计(MLE)为:
$$\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu_0)^2.$$
现在计算该估计量的期望 $E(\hat{\sigma}^2)$,并判断其是否为 $\sigma^2$ 的无偏估计。
由于 $X_i \sim N(\mu_0, \sigma^2)$,则 $X_i - \mu_0 \sim N(0, \sigma^2)$,因此 $\frac{X_i - \mu_0}{\sigma} \sim N(0,1)$。于是
$$\frac{(X_i - \mu_0)^2}{\sigma^2} \sim \chi^2(1),$$
即服从自由度为1的卡方分布。卡方分布的期望等于其自由度,故
$$E\left[\frac{(X_i - \mu_0)^2}{\sigma^2}\right] = 1,$$
从而
$$E[(X_i - \mu_0)^2] = \sigma^2.$$
代入期望运算:
$$\begin{aligned}
E(\hat{\sigma}^2) &= E\left[\frac{1}{n} \sum_{i=1}^n (X_i - \mu_0)^2\right] \\
&= \frac{1}{n} \sum_{i=1}^n E[(X_i - \mu_0)^2] \\
&= \frac{1}{n} \cdot n \cdot \sigma^2 \\
&= \sigma^2.
\end{aligned}$$
因此 $E(\hat{\sigma}^2) = \sigma^2$,说明 $\hat{\sigma}^2$ 是 $\sigma^2$ 的无偏估计量。
注意:这里 $\mu_0$ 已知,所以分母为 $n$ 时得到无偏估计;若 $\mu$ 未知,则 MLE 分母为 $n$ 但无偏估计分母为 $n-1$。
公式:E(\hat{\sigma}^2) = \frac{1}{n} \sum_{i=1}^n E[(X_i - \mu_0)^2] = \sigma^2
提示:利用标准化变量服从标准正态分布,其平方的期望为1,快速得到E[(Xi-μ0)²]=σ²。
目标:将MLE转化为卡方分布
本步骤的目标是将最大似然估计(MLE)转化为卡方分布,以便进行后续的假设检验或区间估计。已知样本 $X_1, X_2, \dots, X_n$ 独立同分布于正态分布 $N(\mu_0, \sigma^2)$,其中 $\mu_0$ 已知,$\sigma^2$ 未知。
首先,回顾样本方差的无偏估计为 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$,但这里我们考虑的是已知均值 $\mu_0$ 的情况。对于已知均值,样本二阶中心矩的估计量为 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \mu_0)^2$,这正是 $\sigma^2$ 的最大似然估计(MLE)。
根据正态分布的性质,当 $X_i \sim N(\mu_0, \sigma^2)$ 时,标准化后的变量 $\frac{X_i - \mu_0}{\sigma} \sim N(0,1)$,且各样本独立。因此,平方和 $\sum_{i=1}^n \left(\frac{X_i - \mu_0}{\sigma}\right)^2$ 服从自由度为 $n$ 的卡方分布,即:
$$\sum_{i=1}^n \frac{(X_i - \mu_0)^2}{\sigma^2} \sim \chi^2(n).$$
将 MLE $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \mu_0)^2$ 代入上式,可得:
$$\frac{n\hat{\sigma}^2}{\sigma^2} = \sum_{i=1}^n \frac{(X_i - \mu_0)^2}{\sigma^2} \sim \chi^2(n).$$
因此,统计量 $\frac{n\hat{\sigma}^2}{\sigma^2}$ 服从自由度为 $n$ 的卡方分布。这一转化是后续构造置信区间或进行假设检验的基础。例如,若需检验 $\sigma^2$ 是否等于某个特定值 $\sigma_0^2$,则可利用 $\frac{n\hat{\sigma}^2}{\sigma_0^2} \sim \chi^2(n)$ 构造检验统计量。
注意:此处自由度为 $n$ 而非 $n-1$,因为均值已知,无需估计均值而损失自由度。若均值未知,则需用样本均值代替,自由度将变为 $n-1$。
公式:$$\frac{n\hat{\sigma}^2}{\sigma^2} = \sum_{i=1}^n \frac{(X_i - \mu_0)^2}{\sigma^2} \sim \chi^2(n)$$
提示:牢记已知均值时,MLE的分子是各观测值与已知均值之差的平方和,自由度为n。
目标:计算MLE的方差
我们已经得到方差参数 $\sigma^2$ 的极大似然估计(MLE)为 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$。为了计算其方差 $D(\hat{\sigma}^2)$,我们利用卡方分布的性质。
首先,回顾样本方差与卡方分布的关系:
$$\frac{n\hat{\sigma}^2}{\sigma^2} = \frac{\sum_{i=1}^n (X_i - \bar{X})^2}{\sigma^2} \sim \chi^2_{n-1}$$
即该统计量服从自由度为 $n-1$ 的卡方分布。
卡方分布的一个重要性质是:若 $Y \sim \chi^2_k$,则其方差为 $D(Y) = 2k$。这里 $k = n-1$,因此
$$D\left(\frac{n\hat{\sigma}^2}{\sigma^2}\right) = 2(n-1)$$
利用方差的性质 $D(aX) = a^2 D(X)$($a$ 为常数),我们有
$$\frac{n^2}{\sigma^4} D(\hat{\sigma}^2) = 2(n-1)$$
从而解出
$$D(\hat{\sigma}^2) = \frac{2(n-1)\sigma^4}{n^2}$$
注意,这里得到的是 MLE 的方差。但在许多教材中,常使用无偏估计 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$,其方差为 $D(S^2) = \frac{2\sigma^4}{n-1}$。而 MLE 的方差略小,为 $\frac{2(n-1)\sigma^4}{n^2}$。当 $n$ 较大时,两者近似相等。
最终答案:$D(\hat{\sigma}^2) = \frac{2(n-1)\sigma^4}{n^2}$。
公式:D(\hat{\sigma}^2) = \frac{2(n-1)\sigma^4}{n^2}
提示:牢记样本方差与卡方分布的关系,并正确使用自由度为 n-1。