2018年考研数学一第23题

已知总体 $X$ 服从拉普拉斯分布（双指数分布），其概率密度函数为 $$f(x;\sigma)=\frac{1}{2\sigma}e^{-\frac{|x|}{\sigma}},\quad -\infty0.$$ 设 $x_1,x_2,\ldots,x_n$ 为来自该总体的样本观测值，且相互独立。根据极大似然估计的原理，样本的联合概率密度函数即为似然函数 $L(\sigma)$。由于样本独立，似然函数等于各观测值概率密度函数的乘积：$$L(\sigma)=\prod_{i=1}^n f(x_i;\sigma)=\prod_{i=1}^n \left(\frac{1}{2\sigma}e^{-\frac{|x_i|}{\sigma}}\right).$$ 将乘积展开，常数因子 $\frac{1}{2\sigma}$ 连乘 $n$ 次得到 $\left(\frac{1}{2\sigma}\right)^n = \frac{1}{2^n\sigma^n}$；指数部分相加得到 $\exp\left(-\frac{1}{\sigma}\sum_{i=1}^n |x_i|\right)$。因此似然函数可写为：$$L(\sigma)=\frac{1}{2^n\sigma^n}\exp\left(-\frac{\sum_{i=1}^n |x_i|}{\sigma}\right).$$ 该表达式即为本步骤所求的似然函数，它是参数 $\sigma$ 的函数，样本观测值 $x_i$ 视为已知常数。

已知似然函数为： $$L(\sigma) = \frac{1}{2^n \sigma^n} e^{-\frac{1}{\sigma} \sum_{i=1}^n |x_i|}, \quad \sigma > 0$$ 对似然函数取自然对数，得到对数似然函数 $\ln L(\sigma)$。 首先，将似然函数写成乘积形式： $$L(\sigma) = \frac{1}{2^n} \cdot \frac{1}{\sigma^n} \cdot e^{-\frac{1}{\sigma} \sum_{i=1}^n |x_i|}$$ 取自然对数，利用对数运算法则 $\ln(abc) = \ln a + \ln b + \ln c$，以及 $\ln e^u = u$，得： $$\ln L(\sigma) = \ln\left(\frac{1}{2^n}\right) + \ln\left(\frac{1}{\sigma^n}\right) + \ln\left(e^{-\frac{1}{\sigma} \sum_{i=1}^n |x_i|}\right)$$ 分别计算每一项： - $\ln\left(\frac{1}{2^n}\right) = \ln(2^{-n}) = -n \ln 2$ - $\ln\left(\frac{1}{\sigma^n}\right) = \ln(\sigma^{-n}) = -n \ln \sigma$ - $\ln\left(e^{-\frac{1}{\sigma} \sum_{i=1}^n |x_i|}\right) = -\frac{1}{\sigma} \sum_{i=1}^n |x_i|$ 因此，对数似然函数为： $$\ln L(\sigma) = -n \ln 2 - n \ln \sigma - \frac{1}{\sigma} \sum_{i=1}^n |x_i|$$ 其中 $\sum_{i=1}^n |x_i|$ 是样本绝对值的和，为已知常数。该表达式是后续求极大似然估计的基础。

我们已经得到了对数似然函数： $$ \ln L(\sigma) = n \ln 2 - n \ln \sigma - \frac{1}{\sigma} \sum_{i=1}^n |x_i|. $$ 现在需要对其关于参数 $\sigma$ 求导，并令导数为零，以求解 $\sigma$ 的极大似然估计。 首先，将 $\ln L$ 视为 $\sigma$ 的函数，逐项求导： - 第一项 $n \ln 2$ 是常数，导数为 $0$。 - 第二项 $-n \ln \sigma$ 的导数为 $-n \cdot \frac{1}{\sigma} = -\frac{n}{\sigma}$。 - 第三项 $-\frac{1}{\sigma} \sum_{i=1}^n |x_i|$ 可以写成 $-\left( \sum_{i=1}^n |x_i| \right) \cdot \sigma^{-1}$，其导数为 $-\left( \sum_{i=1}^n |x_i| \right) \cdot (-1) \sigma^{-2} = \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|$。 因此，对数似然函数关于 $\sigma$ 的导数为： $$ \frac{d \ln L}{d \sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|. $$ 令导数等于零，得到方程： $$ -\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i| = 0. $$ 两边同乘以 $\sigma^2$（注意 $\sigma > 0$），得： $$ -n \sigma + \sum_{i=1}^n |x_i| = 0. $$ 整理得： $$ n \sigma = \sum_{i=1}^n |x_i|, $$ 即 $$ \sigma = \frac{1}{n} \sum_{i=1}^n |x_i|. $$ 因此，$\sigma$ 的极大似然估计量为 $\hat{\sigma} = \frac{1}{n} \sum_{i=1}^n |X_i|$。

由第3步得到的似然函数为： $$L(\sigma) = \frac{1}{(2\sigma)^n} \exp\left(-\frac{1}{\sigma}\sum_{i=1}^n |X_i|\right)$$ 取对数得到对数似然函数： $$\ln L(\sigma) = -n\ln 2 - n\ln\sigma - \frac{1}{\sigma}\sum_{i=1}^n |X_i|$$ 对$\sigma$求导： $$\frac{\partial \ln L}{\partial \sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^2}\sum_{i=1}^n |X_i|$$ 令导数为零： $$-\frac{n}{\sigma} + \frac{1}{\sigma^2}\sum_{i=1}^n |X_i| = 0$$ 两边同乘$\sigma^2$（$\sigma>0$）： $$-n\sigma + \sum_{i=1}^n |X_i| = 0$$ 解得： $$\hat{\sigma} = \frac{1}{n}\sum_{i=1}^n |X_i|$$ 由于二阶导数$\frac{\partial^2 \ln L}{\partial \sigma^2} = \frac{n}{\sigma^2} - \frac{2}{\sigma^3}\sum_{i=1}^n |X_i|$，在$\hat{\sigma}$处为负，故该点为极大值点。因此，$\sigma$的极大似然估计量为$\hat{\sigma} = \frac{1}{n}\sum_{i=1}^n |X_i|$。

由总体分布可知，$X_i \sim N(0, \sigma^2)$，即概率密度函数为 $f_{X_i}(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{x^2}{2\sigma^2}}$。考虑随机变量 $Y_i = |X_i|$，其取值非负。对于 $y \geq 0$，$Y_i$ 的分布函数为： $$F_{Y_i}(y) = P(|X_i| \leq y) = P(-y \leq X_i \leq y) = \Phi\left(\frac{y}{\sigma}\right) - \Phi\left(-\frac{y}{\sigma}\right) = 2\Phi\left(\frac{y}{\sigma}\right) - 1,$$ 其中 $\Phi(\cdot)$ 为标准正态分布函数。对 $y$ 求导得 $Y_i$ 的概率密度函数： $$f_{Y_i}(y) = \frac{d}{dy}F_{Y_i}(y) = 2 \cdot \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{y^2}{2\sigma^2}} = \frac{2}{\sqrt{2\pi}\sigma} e^{-\frac{y^2}{2\sigma^2}}, \quad y \geq 0.$$ 注意到指数分布 $\text{Exp}(\lambda)$ 的概率密度函数为 $f(y) = \lambda e^{-\lambda y}, y \geq 0$。而此处 $f_{Y_i}(y)$ 的形式并非指数分布，但题目中“|Xi|服从参数为σ的指数分布”是指 $|X_i|$ 服从参数为 $1/\sigma$ 的指数分布，即 $|X_i| \sim \text{Exp}(1/\sigma)$，其概率密度函数为 $f(y) = \frac{1}{\sigma} e^{-y/\sigma}, y \geq 0$。然而，对于正态分布 $N(0,\sigma^2)$ 的绝对值，其实际分布为半正态分布（folded normal distribution），并非指数分布。此处题目设定为“由总体分布可知”是一种近似或特殊假定，即认为 $|X_i|$ 服从指数分布 $\text{Exp}(1/\sigma)$。因此，我们按照题目要求，直接采用该结论：$|X_i|$ 的概率密度函数为 $f_{|X_i|}(x) = \frac{1}{\sigma} e^{-x/\sigma}, x \geq 0$，其期望 $E(|X_i|) = \sigma$，方差 $D(|X_i|) = \sigma^2$。这一分布将用于后续步骤中构造统计量或进行参数估计。

本步骤的目标是计算估计量 $\hat{\sigma} = \frac{1}{n}\sum_{i=1}^{n}|X_i|$ 的期望值。已知 $X_i$ 服从拉普拉斯分布 $L(0,\sigma)$，其概率密度函数为 $f(x)=\frac{1}{2\sigma}e^{-|x|/\sigma}$。 首先，考虑单个随机变量 $|X_i|$ 的期望。由拉普拉斯分布的对称性，$|X_i|$ 服从参数为 $\sigma$ 的指数分布。具体地，对于 $y \geq 0$，有 $P(|X_i| > y) = e^{-y/\sigma}$，因此 $|X_i|$ 的密度函数为 $g(y)=\frac{1}{\sigma}e^{-y/\sigma}$，$y \geq 0$。指数分布的期望为 $E(|X_i|)=\sigma$。 由于 $X_1,\ldots,X_n$ 独立同分布，$|X_1|,\ldots,|X_n|$ 也独立同分布。因此， $$ E(\hat{\sigma}) = E\left(\frac{1}{n}\sum_{i=1}^{n}|X_i|\right) = \frac{1}{n}\sum_{i=1}^{n}E(|X_i|) = \frac{1}{n}\cdot n\cdot \sigma = \sigma. $$ 这表明 $\hat{\sigma}$ 是 $\sigma$ 的无偏估计量。

已知总体 $X$ 服从拉普拉斯分布，密度函数为 $f(x)=\frac{1}{2\sigma}e^{-|x|/\sigma}$，且 $\hat{\sigma}=\frac{1}{n}\sum_{i=1}^n |X_i|$ 是 $\sigma$ 的极大似然估计。 首先，对于单个观测 $X_i$，令 $Y_i=|X_i|$，则 $Y_i$ 服从参数为 $\sigma$ 的指数分布，即 $Y_i\sim\text{Exp}(1/\sigma)$，其密度函数为 $f(y)=\frac{1}{\sigma}e^{-y/\sigma},\ y>0$。 指数分布与卡方分布有重要关系：若 $Y\sim\text{Exp}(\lambda)$，则 $2\lambda Y\sim\chi^2(2)$。这里 $\lambda=1/\sigma$，所以 $2\cdot\frac{1}{\sigma}\cdot Y_i = \frac{2|X_i|}{\sigma}\sim\chi^2(2)$。 由于 $X_1,\dots,X_n$ 独立同分布，故 $\frac{2|X_1|}{\sigma},\dots,\frac{2|X_n|}{\sigma}$ 相互独立且均服从 $\chi^2(2)$。由卡方分布的可加性，它们的和服从自由度为 $2n$ 的卡方分布： $$ \sum_{i=1}^n \frac{2|X_i|}{\sigma} = \frac{2}{\sigma}\sum_{i=1}^n |X_i| = \frac{2n\hat{\sigma}}{\sigma} \sim \chi^2(2n). $$ 记 $Q=\frac{2n\hat{\sigma}}{\sigma}$，则 $Q\sim\chi^2(2n)$。卡方分布的方差为 $\text{Var}(Q)=2\cdot(2n)=4n$。 由方差的性质：$\text{Var}(Q)=\text{Var}\left(\frac{2n\hat{\sigma}}{\sigma}\right)=\frac{4n^2}{\sigma^2}\text{Var}(\hat{\sigma})$。 因此 $\frac{4n^2}{\sigma^2}\text{Var}(\hat{\sigma})=4n$，解得 $\text{Var}(\hat{\sigma})=\frac{\sigma^2}{n}$。 最终得到 $\hat{\sigma}$ 的方差为 $\frac{\sigma^2}{n}$，验证了估计量的有效性。