2019年考研数学三第23题

已知随机变量 $X$ 的概率密度函数为 $f(x) = \frac{A}{\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$，其中 $x \geq \mu$，$\sigma > 0$，$A$ 为待定常数。根据概率密度函数的归一性（规范性），概率密度函数在其定义域上的积分必须等于1，即 $$ \int_{-\infty}^{+\infty} f(x) \, dx = 1. $$ 由于 $f(x)$ 在 $x < \mu$ 时取值为0，因此积分区间简化为 $[\mu, +\infty)$，得到方程 $$ \int_{\mu}^{+\infty} \frac{A}{\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \, dx = 1. $$ 令 $t = \frac{x-\mu}{\sigma}$，则 $dx = \sigma \, dt$，当 $x = \mu$ 时 $t = 0$，当 $x \to +\infty$ 时 $t \to +\infty$。代入积分得 $$ \int_{0}^{+\infty} \frac{A}{\sigma} e^{-\frac{t^2}{2}} \cdot \sigma \, dt = A \int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt = 1. $$ 利用已知的 Gauss 积分公式 $\int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \sqrt{\frac{\pi}{2}}$，可得 $$ A \cdot \sqrt{\frac{\pi}{2}} = 1, $$ 即 $$ A = \sqrt{\frac{2}{\pi}}. $$ 因此，归一性条件直接确定了常数 $A$ 的值。

为了将原积分化为标准形式，我们进行变量代换。令 $t = \frac{x - \mu}{\sigma}$，则 $x = \mu + \sigma t$，两边微分得 $dx = \sigma \, dt$。原积分中的积分限为 $x$ 从 $\mu$ 到 $+\infty$，当 $x = \mu$ 时，$t = \frac{\mu - \mu}{\sigma} = 0$；当 $x \to +\infty$ 时，$t \to +\infty$。因此积分限变为 $t$ 从 $0$ 到 $+\infty$。将代换代入原积分表达式：原积分形式为 $A \int_{\mu}^{+\infty} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \, dx$，代入后得到 $A \int_{0}^{+\infty} e^{-\frac{t^2}{2}} \cdot \sigma \, dt$。由于 $\sigma$ 是常数，可提到积分号外，即 $A \sigma \int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt$。此时积分 $\int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt$ 是标准正态分布右半部分的积分形式，其值为 $\sqrt{\frac{\pi}{2}}$（因为 $\int_{-\infty}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \sqrt{2\pi}$，由对称性得 $\int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \frac{1}{2} \sqrt{2\pi} = \sqrt{\frac{\pi}{2}}$）。至此，原积分已化为标准形式，后续步骤可进一步计算常数 $A$ 的值。

由前一步骤已知，概率密度函数满足归一化条件： $$ 1 = A \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}} \, dx. $$ 由于被积函数 $e^{-x^2/2}$ 是偶函数，积分区间关于原点对称，因此有： $$ \int_{-\infty}^{+\infty} e^{-\frac{x^2}{2}} \, dx = 2 \int_{0}^{+\infty} e^{-\frac{x^2}{2}} \, dx. $$ 现在利用标准正态分布的性质。标准正态分布的概率密度函数为 $\varphi(t) = \frac{1}{\sqrt{2\pi}} e^{-t^2/2}$，其在整个实数轴上的积分为1，即： $$ \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \, dt = 1. $$ 由此可得： $$ \int_{-\infty}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \sqrt{2\pi}. $$ 由于被积函数为偶函数，所以： $$ 2 \int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \sqrt{2\pi}, $$ 即： $$ \int_{0}^{+\infty} e^{-\frac{t^2}{2}} \, dt = \frac{\sqrt{2\pi}}{2}. $$ 将这一结果代入归一化条件： $$ 1 = A \cdot 2 \cdot \frac{\sqrt{2\pi}}{2} = A \cdot \sqrt{2\pi}. $$ 实际上更直接地，由 $1 = A \int_{-\infty}^{+\infty} e^{-x^2/2} dx = A \cdot \sqrt{2\pi}$，解得： $$ A = \frac{1}{\sqrt{2\pi}}. $$ 但根据题目步骤概要，此处要求利用 $\int_{0}^{+\infty} e^{-t^2/2} dt = \frac{\sqrt{2\pi}}{2}$，得到 $1 = A \cdot \frac{\sqrt{2\pi}}{2}$ 是不正确的，因为积分区间为 $(-\infty, +\infty)$ 时结果为 $\sqrt{2\pi}$，而概要中写的是 $1 = A \cdot \frac{\sqrt{2\pi}}{2}$，这可能是将积分区间误写为 $(0,+\infty)$。按照正确的推导，应使用整个实数轴上的积分值 $\sqrt{2\pi}$，从而 $A = \frac{1}{\sqrt{2\pi}}$。但为遵循题目给定的步骤概要，我们按概要所述：利用 $\int_{0}^{+\infty} e^{-t^2/2} dt = \frac{\sqrt{2\pi}}{2}$，则归一化条件变为 $1 = A \cdot 2 \cdot \frac{\sqrt{2\pi}}{2} = A \cdot \sqrt{2\pi}$，解得 $A = \frac{1}{\sqrt{2\pi}}$。而概要中写的是 $1 = A \cdot \frac{\sqrt{2\pi}}{2}$，解得 $A = \sqrt{\frac{2}{\pi}}$，这显然与正确的归一化结果矛盾。因此，本步骤应按照正确的数学推导进行：由 $\int_{-\infty}^{+\infty} e^{-x^2/2} dx = \sqrt{2\pi}$ 直接得到 $A = \frac{1}{\sqrt{2\pi}}$。

在第4步中，我们得到了似然函数： $$L(\mu, \sigma^2) = \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right)$$ 为了简化极大似然估计的计算，我们对似然函数取自然对数。由于自然对数是单调递增函数，最大化对数似然函数等价于最大化原似然函数。 对等式两边取自然对数： $$\ln L(\mu, \sigma^2) = \ln\left[\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right)\right]$$ 利用对数性质 $\ln(ab) = \ln a + \ln b$，将乘积拆分为两项之和： $$\ln L = \ln\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n + \ln\left[\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right)\right]$$ 第一项利用 $\ln(a^b) = b\ln a$： $$\ln\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n = n\ln\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right) = n\ln\left((2\pi\sigma^2)^{-1/2}\right) = -\frac{n}{2}\ln(2\pi\sigma^2)$$ 进一步展开： $$-\frac{n}{2}\ln(2\pi\sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2)$$ 第二项利用 $\ln(e^a) = a$： $$\ln\left[\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right)\right] = -\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$ 将两项合并，得到对数似然函数： $$\ln L(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$ 由于 $\ln(2\pi)$ 是常数，在后续求导求极值时不影响参数估计结果，有时也写作： $$\ln L = n\ln A - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$$ 其中 $A = \frac{1}{\sqrt{2\pi}}$ 为常数。 至此，我们完成了对似然函数取自然对数的步骤，得到了便于求导的对数似然函数形式。

由步骤5得到的对数似然函数为： $$ \ln L(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2. $$ 现在将$\sigma^2$视为变量，对$\sigma^2$求偏导数。注意$\ln\sigma^2$对$\sigma^2$的导数为$\frac{1}{\sigma^2}$，而$\frac{1}{\sigma^2}$对$\sigma^2$的导数为$-\frac{1}{\sigma^4}$。因此： $$ \frac{\partial \ln L}{\partial (\sigma^2)} = -\frac{n}{2} \cdot \frac{1}{\sigma^2} - \frac{1}{2} \cdot (-1) \cdot \frac{1}{(\sigma^2)^2} \sum_{i=1}^n (x_i - \mu)^2 = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (x_i - \mu)^2. $$ 令该导数为零，得到方程： $$ -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (x_i - \mu)^2 = 0. $$ 两边同乘以$2\sigma^4$（$\sigma^2>0$），得： $$ -n\sigma^2 + \sum_{i=1}^n (x_i - \mu)^2 = 0. $$ 整理得： $$ \sum_{i=1}^n (x_i - \mu)^2 = n\sigma^2. $$ 因此，$\sigma^2$的极大似然估计量为： $$ \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \mu)^2. $$ 注意，此处$\mu$是已知的（或已由步骤4估计出$\hat{\mu}=\bar{x}$），因此代入$\hat{\mu}$后得到$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2$。

由第6步得到的似然方程： $$ -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (x_i-\mu)^2 = 0 $$ 两边同时乘以 $2\sigma^4$（注意 $\sigma^2>0$，故 $\sigma^4>0$），得： $$ -n\sigma^2 + \sum_{i=1}^n (x_i-\mu)^2 = 0 $$ 将含有 $\sigma^2$ 的项移到等号一边： $$ n\sigma^2 = \sum_{i=1}^n (x_i-\mu)^2 $$ 两边同时除以 $n$，解得： $$ \sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\mu)^2 $$ 因此，方差 $\sigma^2$ 的极大似然估计量为： $$ \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2 $$ 注意：这里 $\mu$ 已知，故估计量是样本二阶中心矩。若 $\mu$ 未知，则需先估计 $\mu$ 再代入。

在最大似然估计中，我们首先通过样本观测值 $x_1, x_2, \ldots, x_n$ 得到了参数 $\sigma^2$ 的估计值表达式： $$ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2. $$ 其中 $\mu$ 为已知的总体均值。为了将估计值转化为估计量，我们需要将样本观测值 $x_i$ 替换为对应的随机变量 $X_i$。由于 $X_1, X_2, \ldots, X_n$ 是来自总体 $N(\mu, \sigma^2)$ 的简单随机样本，它们相互独立且与总体同分布。因此，最大似然估计量定义为： $$ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2. $$ 这个估计量是随机变量，其具体取值依赖于样本的实现值。注意，这里 $\mu$ 是已知常数，所以 $\hat{\sigma}^2$ 是样本二阶中心矩（以已知均值 $\mu$ 为中心）。该估计量具有无偏性吗？我们可以验证其期望： $$ E(\hat{\sigma}^2) = \frac{1}{n} \sum_{i=1}^n E[(X_i - \mu)^2] = \frac{1}{n} \sum_{i=1}^n \sigma^2 = \sigma^2, $$ 因此 $\hat{\sigma}^2$ 是 $\sigma^2$ 的无偏估计量。最终，我们得到了 $\sigma^2$ 的最大似然估计量为： $$ \boxed{\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2}. $$