📝 题目
设总体 $X$ 的概率密度为
$$
f(x ; \sigma)=\frac{1}{2 \sigma} \mathrm{e}^{-\frac{|x|}{\sigma}},-\infty\lt x\lt+\infty,
$$
其中 $\sigma \in(0,+\infty)$ 为未知参数,$X_{1}, X_{2}, \cdots, X_{n}$ 为来自总体 $X$ 的简单随机样本。记 $\sigma$ 的最大似然估计量为 $\hat{\sigma}$ .
(I)求 $\hat{\sigma}$ ;
(II)求 $E(\hat{\sigma}), D(\hat{\sigma})$ .
💡 答案解析
**答案**: 见解析
---
**解析**:
(I)似然函数为
$L\left(x_{1}, x_{2}, \cdots, x_{n} ; \sigma\right)=\prod_{i=1}^{n} f\left(x_{i} ; \sigma\right)=\displaystyle\frac{1}{2^{n} \sigma^{n}} \mathrm{e}^{-\displaystyle\frac{1}{\sigma} \displaystyle\sum_{i=1}^{n}\left|x_{i}\right|},-\infty\lt x_{i}\lt +\infty, i=1,2, \cdots, n$.
于是 $\ln L=-n \ln 2-n \ln \sigma-\displaystyle\frac{1}{\sigma} \displaystyle\sum_{i=1}^{n}\left|x_{i}\right|$ .
令 $\displaystyle\frac{\mathrm{d} \ln L}{\mathrm{~d} \sigma}=-\displaystyle\frac{n}{\sigma}+\displaystyle\frac{1}{\sigma^{2}} \displaystyle\sum_{i=1}^{n}\left|x_{i}\right|=0$ ,得 $\sigma$ 的最大似然估计量为 $\hat{\sigma}=\displaystyle\frac{1}{n} \displaystyle\sum_{i=1}^{n}\left|X_{i}\right|$ .
$$
\text { (II ) } \begin{aligned}
E(\hat{\sigma}) & =\frac{1}{n} \sum_{i=1}^{n} E\left(\left|X_{i}\right|\right)=E|X|=\int_{-\infty}^{+\infty}|x| \frac{1}{2 \sigma} \mathrm{e}^{-\frac{|x|}{\sigma}} \mathrm{d} x=\int_{0}^{+\infty} \frac{x}{\sigma} \mathrm{e}^{-\frac{x}{\sigma}} \mathrm{~d} x \\
& =-\int_{0}^{+\infty} x \mathrm{de} \mathrm{e}^{-\frac{x}{\sigma}}=-\left.x \mathrm{e}^{-\frac{x}{\sigma}}\right|_{0} ^{+\infty}+\int_{0}^{+\infty} \mathrm{e}^{-\frac{x}{\sigma}} \mathrm{~d} x=\sigma
\end{aligned}
$$
$$
\begin{aligned}
D(\hat{\sigma}) & =\frac{1}{n^{2}} \sum_{i=1}^{n} D\left(\left|X_{i}\right|\right)=\frac{D(|X|)}{n}=\frac{E\left[|X|^{2}-E^{2}(|X|)\right]}{n} \\
& =\frac{1}{n}\left(\int_{-\infty}^{+\infty}|x|^{2} \frac{1}{2 \sigma} \mathrm{e}^{-\frac{|x|}{\sigma}} \mathrm{d} x-\sigma^{2}\right)=\frac{1}{n}\left(\int_{0}^{+\infty} \frac{x^{2}}{\sigma} \mathrm{e}^{-\frac{x}{\sigma}} \mathrm{~d} x-\sigma^{2}\right) \\
& =\frac{1}{n}\left(\int_{0}^{+\infty}-x^{2} \mathrm{de}-\frac{x}{\sigma}-\sigma^{2}\right)=\frac{1}{n}\left(\int_{0}^{+\infty} 2 x \mathrm{e}^{-\frac{x}{\sigma}} \mathrm{~d} x-\sigma^{2}\right) \\
& =\frac{1}{n}\left(2 \sigma^{2}-\sigma^{2}\right)=\frac{\sigma^{2}}{n}
\end{aligned}
$$
📋 详细解题步骤
目标:写出似然函数
首先,已知总体 $X$ 的概率密度函数为 $f(x;\sigma)=\frac{1}{2\sigma}e^{-|x|/\sigma}$,其中 $\sigma>0$。设 $X_1,X_2,\ldots,X_n$ 为来自该总体的简单随机样本,其观测值为 $x_1,x_2,\ldots,x_n$。根据独立同分布样本的联合概率密度函数等于各边缘密度函数的乘积,得到样本的似然函数为:
$$L(\sigma)=\prod_{i=1}^{n}f(x_i;\sigma)=\prod_{i=1}^{n}\frac{1}{2\sigma}e^{-|x_i|/\sigma}.$$
将乘积展开,常数因子相乘得 $\frac{1}{2^n\sigma^n}$,指数部分相加得 $e^{-\sum_{i=1}^{n}|x_i|/\sigma}$,因此似然函数可写为:
$$L(\sigma)=\frac{1}{2^n\sigma^n}e^{-\frac{1}{\sigma}\sum_{i=1}^{n}|x_i|}.$$
该函数是参数 $\sigma$ 的函数,样本观测值 $x_i$ 视为已知常数。注意,$\sigma>0$ 是待估参数,似然函数反映了在不同 $\sigma$ 取值下观察到当前样本的“可能性”大小。后续步骤将对似然函数取对数,并求导以得到极大似然估计量。
公式:$$L(\sigma)=\frac{1}{2^n\sigma^n}e^{-\sum_{i=1}^{n}|x_i|/\sigma}$$
提示:注意总体密度中的绝对值,似然函数是各密度乘积,不要遗漏常数项。
目标:取对数并求导
首先,对似然函数取自然对数。已知似然函数为:
$$L(\sigma) = \frac{1}{2^n \sigma^n} e^{-\frac{1}{\sigma} \sum_{i=1}^n |x_i|}$$
取对数得:
$$\ln L(\sigma) = \ln\left(\frac{1}{2^n}\right) + \ln\left(\frac{1}{\sigma^n}\right) + \ln\left(e^{-\frac{1}{\sigma} \sum |x_i|}\right)$$
分别计算各项:
- $\ln(1/2^n) = -n \ln 2$
- $\ln(1/\sigma^n) = -n \ln \sigma$
- $\ln(e^{-\frac{1}{\sigma} \sum |x_i|}) = -\frac{1}{\sigma} \sum_{i=1}^n |x_i|$
因此:
$$\ln L(\sigma) = -n \ln 2 - n \ln \sigma - \frac{1}{\sigma} \sum_{i=1}^n |x_i|$$
接下来对 $\sigma$ 求导。注意 $\ln 2$ 是常数,导数为0。逐项求导:
- $\frac{d}{d\sigma}(-n \ln \sigma) = -n \cdot \frac{1}{\sigma} = -\frac{n}{\sigma}$
- $\frac{d}{d\sigma}\left(-\frac{1}{\sigma} \sum |x_i|\right) = -\sum |x_i| \cdot \frac{d}{d\sigma}(\sigma^{-1}) = -\sum |x_i| \cdot (-\sigma^{-2}) = \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|$
合并得到:
$$\frac{d \ln L(\sigma)}{d\sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|$$
此导数用于下一步令其等于0,从而求解 $\sigma$ 的极大似然估计。
公式:$$\frac{d \ln L(\sigma)}{d\sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|$$
提示:求导时注意将$\frac{1}{\sigma}$视为$\sigma^{-1}$,利用幂函数求导公式可避免符号错误。
目标:解似然方程得估计量
上一步已得到对数似然函数为 $\ln L(\sigma) = -n \ln 2 - n \ln \sigma - \frac{1}{\sigma} \sum_{i=1}^n |x_i|$。为求极大似然估计,需对 $\sigma$ 求导并令导数为零。
首先计算导数:
$$\frac{\partial \ln L}{\partial \sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i|$$
令导数等于零:
$$-\frac{n}{\sigma} + \frac{1}{\sigma^2} \sum_{i=1}^n |x_i| = 0$$
两边同乘以 $\sigma^2$($\sigma>0$):
$$-n \sigma + \sum_{i=1}^n |x_i| = 0$$
解得:
$$\sigma = \frac{1}{n} \sum_{i=1}^n |x_i|$$
由于二阶导数 $\frac{\partial^2 \ln L}{\partial \sigma^2} = \frac{n}{\sigma^2} - \frac{2}{\sigma^3} \sum_{i=1}^n |x_i|$,代入解得的 $\sigma$ 可得 $\frac{\partial^2 \ln L}{\partial \sigma^2} = -\frac{n}{\sigma^2} < 0$,因此该点为极大值点。
故 $\sigma$ 的最大似然估计量为:
$$\hat{\sigma} = \frac{1}{n} \sum_{i=1}^n |X_i|$$
即样本绝对值的均值。
公式:$$\hat{\sigma} = \frac{1}{n} \sum_{i=1}^n |X_i|$$
提示:注意拉普拉斯分布似然函数中绝对值的存在,求导时需小心处理。
目标:计算E(σ̂)
由期望的线性性质,有 $E(\hat{\sigma}) = E(|X|)$。由于 $X$ 服从拉普拉斯分布,其概率密度函数为 $f(x) = \frac{1}{2\sigma} e^{-|x|/\sigma}$,因此 $E(|X|) = \int_{-\infty}^{\infty} |x| \cdot \frac{1}{2\sigma} e^{-|x|/\sigma} dx$。利用被积函数的偶函数性质,可将积分化为 $2 \int_{0}^{\infty} x \cdot \frac{1}{2\sigma} e^{-x/\sigma} dx = \frac{1}{\sigma} \int_{0}^{\infty} x e^{-x/\sigma} dx$。令 $t = x/\sigma$,则 $x = \sigma t$,$dx = \sigma dt$,积分变为 $\frac{1}{\sigma} \int_{0}^{\infty} \sigma t e^{-t} \cdot \sigma dt = \sigma \int_{0}^{\infty} t e^{-t} dt$。计算 $\int_{0}^{\infty} t e^{-t} dt$,使用分部积分法:令 $u = t$,$dv = e^{-t} dt$,则 $du = dt$,$v = -e^{-t}$,于是 $\int_{0}^{\infty} t e^{-t} dt = \left[ -t e^{-t} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-t} dt = 0 + \left[ -e^{-t} \right]_{0}^{\infty} = 1$。因此 $E(|X|) = \sigma \cdot 1 = \sigma$,即 $E(\hat{\sigma}) = \sigma$。
公式:$$E(\hat{\sigma}) = \int_{-\infty}^{\infty} |x| \cdot \frac{1}{2\sigma} e^{-|x|/\sigma} dx = \sigma$$
提示:利用偶函数性质将积分限化为0到∞,再通过变量代换和分部积分快速求解。
目标:计算D(σ̂)
由方差性质,对于样本均值形式的估计量,有 $D(\hat{\sigma}) = D\left(\frac{1}{n}\sum_{i=1}^n |X_i|\right) = \frac{1}{n^2} \sum_{i=1}^n D(|X_i|) = \frac{1}{n} D(|X|)$,其中 $X$ 服从总体分布,其概率密度函数为 $f(x) = \frac{1}{2\sigma} e^{-|x|/\sigma}$,$x \in \mathbb{R}$。
计算 $D(|X|) = E(|X|^2) - [E(|X|)]^2$。首先计算 $E(|X|^2)$:
$$E(|X|^2) = \int_{-\infty}^{+\infty} x^2 \cdot \frac{1}{2\sigma} e^{-|x|/\sigma} dx = 2 \int_0^{+\infty} x^2 \cdot \frac{1}{2\sigma} e^{-x/\sigma} dx = \frac{1}{\sigma} \int_0^{+\infty} x^2 e^{-x/\sigma} dx.$$
令 $t = x/\sigma$,则 $x = \sigma t$,$dx = \sigma dt$,积分限不变,得
$$E(|X|^2) = \frac{1}{\sigma} \int_0^{+\infty} (\sigma t)^2 e^{-t} \cdot \sigma dt = \sigma^2 \int_0^{+\infty} t^2 e^{-t} dt = \sigma^2 \cdot \Gamma(3) = \sigma^2 \cdot 2! = 2\sigma^2.$$
其中利用了伽马函数性质 $\Gamma(n) = (n-1)!$。
由第4步已知 $E(|X|) = \sigma$,因此
$$D(|X|) = 2\sigma^2 - \sigma^2 = \sigma^2.$$
代入得
$$D(\hat{\sigma}) = \frac{1}{n} \cdot \sigma^2 = \frac{\sigma^2}{n}.$$
最终答案验证:$\hat{\sigma} = \frac{1}{n}\sum_{i=1}^n |X_i|$ 是 $\sigma$ 的无偏估计(由第4步 $E(\hat{\sigma})=\sigma$),其方差为 $\sigma^2/n$,符合样本均值方差的一般形式,且随着样本量增大,方差趋于0,说明估计量具有相合性。
公式:$$D(\hat{\sigma}) = \frac{\sigma^2}{n}$$
提示:利用对称性将积分化为半区间,再用伽马函数快速计算 $E(|X|^2)$。