📝 题目
设总体 $X$ 的概率密度为
$$
f(x ; \theta)= \begin{cases}\theta, & 0\lt x\lt 1, \\ 1-\theta, & 1 \leqslant x\lt 2, \\ 0, & \text { 其他, }\end{cases}
$$
其中 $\theta$ 是未知参数 $(0\lt\theta\lt 1) \cdot X_{1}, X_{2}, \cdots, X_{n}$ 为来自总体 $X$ 的简单随机样本,记 $N$ 为样本值 $x_{1}, x_{2}, \cdots, x_{n}$ 中小于 1 的个数。求:
( I )$\theta$ 的矩估计;
( II )$\theta$ 的最大似然估计.
💡 答案解析
**答案**: 见解析
---
**解析**:
【详解】( I )因为 $E X=\displaystyle\int_{-\infty}^{+\infty} x f(x ; \theta) \mathrm{d} x=\displaystyle\int_0^1 x \theta \mathrm{~d} x+\displaystyle\int_1^2 x(1-\theta) \mathrm{d} x=\displaystyle\frac{3}{2}-\theta$ ,令 $\displaystyle\frac{3}{2}-\theta=\bar{X}$ ,可得 $\theta$ 的矩估计为 $\bar{\theta}=\displaystyle\frac{3}{2}-\bar{X}$ 。
(II)记似然函数为 $L(\theta)$ ,则
$$
L(\theta)=\underbrace{\theta \cdot \theta \cdots \cdots}_{N \text{个}} \underbrace{(1-\theta) \cdot(1-\theta) \cdots(1-\theta)}_{(n-N) \text{个}}=\theta^N(1-\theta)^{n-N} .
$$
两边取对数得
$$
\ln L(\theta)=N \ln \theta+(n-N) \ln (1-\theta),
$$
令 $\displaystyle\frac{\mathrm{d} \ln L(\theta)}{\mathrm{d} \theta}=\displaystyle\frac{N}{\theta}-\displaystyle\frac{n-N}{1-\theta}=0$ ,解得 $\theta=\displaystyle\frac{N}{n}$ 为 $\theta$ 的最大似然估计.
📋 详细解题步骤
目标:计算总体期望EX
已知总体$X$的概率密度函数为:
$$f(x;\theta)=\begin{cases}
\theta, & 0 \le x < 1 \\
1-\theta, & 1 \le x \le 2 \\
0, & \text{其他}
\end{cases}$$
其中$0<\theta<1$。
总体期望$EX$的定义为:
$$EX = \int_{-\infty}^{+\infty} x f(x;\theta) \, dx$$
由于$f(x;\theta)$在$[0,1)$和$[1,2]$上非零,因此积分分段进行:
$$EX = \int_0^1 x \cdot \theta \, dx + \int_1^2 x \cdot (1-\theta) \, dx$$
先计算第一段积分:
$$\int_0^1 x \theta \, dx = \theta \int_0^1 x \, dx = \theta \cdot \left[ \frac{x^2}{2} \right]_0^1 = \theta \cdot \frac{1}{2} = \frac{\theta}{2}$$
再计算第二段积分:
$$\int_1^2 x (1-\theta) \, dx = (1-\theta) \int_1^2 x \, dx = (1-\theta) \cdot \left[ \frac{x^2}{2} \right]_1^2 = (1-\theta) \cdot \left( \frac{4}{2} - \frac{1}{2} \right) = (1-\theta) \cdot \frac{3}{2} = \frac{3}{2}(1-\theta)$$
将两部分相加:
$$EX = \frac{\theta}{2} + \frac{3}{2}(1-\theta) = \frac{\theta}{2} + \frac{3}{2} - \frac{3\theta}{2} = \frac{3}{2} - \theta$$
因此,总体期望$EX = \frac{3}{2} - \theta$。
公式:EX = \int_0^1 x\theta \, dx + \int_1^2 x(1-\theta) \, dx = \frac{3}{2} - \theta
提示:分段积分时注意每个区间对应的密度函数表达式,积分后仔细合并同类项。
目标:建立矩估计方程并求解
矩估计法的基本思想是用样本矩代替总体矩,从而建立方程求解参数。本题中总体分布已知,其数学期望 $E(X)$ 已由第一步计算得到为 $\frac{3}{2} - \theta$。根据矩估计原理,令总体一阶原点矩等于样本一阶原点矩,即样本均值 $\bar{X}$。因此建立矩估计方程:
$$
E(X) = \bar{X} \quad \Longrightarrow \quad \frac{3}{2} - \theta = \bar{X}.
$$
将方程中的 $\theta$ 视为未知数,解此方程:移项得 $-\theta = \bar{X} - \frac{3}{2}$,两边乘以 $-1$ 得 $\theta = \frac{3}{2} - \bar{X}$。于是得到参数 $\theta$ 的矩估计量为
$$
\hat{\theta}_{\text{矩}} = \frac{3}{2} - \bar{X}.
$$
其中 $\bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_i$ 为样本均值。注意矩估计量是样本的函数,它随样本取值而变化。至此,矩估计方程建立并求解完毕。
公式:$$\frac{3}{2} - \theta = \bar{X} \quad \Longrightarrow \quad \hat{\theta} = \frac{3}{2} - \bar{X}$$
提示:矩估计方程就是令总体期望等于样本均值,然后解出参数即可。
目标:写出似然函数
根据题目信息,总体$X$的分布为:$P(X<1)=\theta$,$P(1\le X<2)=1-\theta$,其中$0<\theta<1$。样本容量为$n$,记$N$为样本中满足$X_i<1$的个数,则$N$服从二项分布$B(n,\theta)$。样本中其余$n-N$个观测值落在区间$[1,2)$内。由于各观测独立,似然函数为每个观测概率的乘积:对于每个$X_i<1$,贡献概率$\theta$;对于每个$X_i\in[1,2)$,贡献概率$1-\theta$。因此,似然函数为:
$$L(\theta)=\prod_{i=1}^{n} P(X_i;\theta)=\theta^{N}(1-\theta)^{n-N}.$$
其中$N$是样本中满足$X_i<1$的个数,是一个统计量。该似然函数仅依赖于$\theta$和$N$,与具体观测值无关。注意,这里$\theta$是未知参数,$N$是已知的样本观测结果。
公式:$$L(\theta)=\theta^{N}(1-\theta)^{n-N}$$
提示:注意似然函数是参数$\theta$的函数,样本观测值$N$视为已知常数。
目标:取对数似然函数
在得到似然函数 $L(\theta) = \theta^N (1-\theta)^{n-N}$ 后,为了简化乘积形式的求导运算,我们对其取自然对数,得到对数似然函数。取对数的依据是:对数函数是单调递增函数,因此最大化对数似然函数等价于最大化原似然函数。具体操作如下:
设似然函数为:
$$L(\theta) = \theta^N (1-\theta)^{n-N}$$
两边取自然对数:
$$\ln L(\theta) = \ln\left[\theta^N (1-\theta)^{n-N}\right]$$
利用对数运算法则 $\ln(ab) = \ln a + \ln b$ 以及 $\ln(a^b) = b\ln a$,得到:
$$\ln L(\theta) = \ln(\theta^N) + \ln\left[(1-\theta)^{n-N}\right]$$
$$= N\ln\theta + (n-N)\ln(1-\theta)$$
其中 $N = \sum_{i=1}^n X_i$ 表示样本中取值为1的个数,$n$ 为样本容量,$\theta$ 为未知参数。该表达式将乘积转化为求和,便于后续对 $\theta$ 求导并求解极大值点。注意:$\theta$ 的取值范围为 $(0,1)$,以保证对数有意义。
公式:$$\ln L(\theta) = N\ln\theta + (n-N)\ln(1-\theta)$$
提示:取对数时注意定义域 $\theta\in(0,1)$,确保对数内为正。
目标:求导并令导数为零
由步骤4得到的对数似然函数为:
$$
\ln L(\theta) = N \ln \theta + (n-N) \ln (1-\theta)
$$
其中 $N = \sum_{i=1}^n X_i$ 为样本中成功次数,$\theta$ 为未知参数。
对 $\ln L(\theta)$ 关于 $\theta$ 求导。根据对数函数的导数公式 $\frac{d}{dx}\ln x = \frac{1}{x}$ 以及链式法则,有:
$$
\frac{d}{d\theta} \ln L(\theta) = \frac{N}{\theta} + \frac{n-N}{1-\theta} \cdot (-1) = \frac{N}{\theta} - \frac{n-N}{1-\theta}
$$
为求极大似然估计,令导数为零:
$$
\frac{N}{\theta} - \frac{n-N}{1-\theta} = 0
$$
整理方程:
$$
\frac{N}{\theta} = \frac{n-N}{1-\theta}
$$
交叉相乘得:
$$
N(1-\theta) = (n-N)\theta
$$
展开:
$$
N - N\theta = n\theta - N\theta
$$
两边同时加上 $N\theta$:
$$
N = n\theta
$$
解得:
$$
\theta = \frac{N}{n}
$$
此即极大似然估计的候选值。注意,该导数方程的解即为样本均值,且二阶导数检验可确认其为最大值(在后续步骤中完成)。
公式:\frac{d}{d\theta} \ln L(\theta) = \frac{N}{\theta} - \frac{n-N}{1-\theta} = 0
提示:求导时注意 $\ln(1-\theta)$ 的导数为 $-\frac{1}{1-\theta}$,不要遗漏负号。
目标:解出最大似然估计量
由似然方程 $\frac{N}{\theta} = \frac{n-N}{1-\theta}$ 出发,两边同时乘以 $\theta(1-\theta)$ 以去分母,得到:
$$N(1-\theta) = (n-N)\theta$$
展开左边:
$$N - N\theta = n\theta - N\theta$$
两边同时加上 $N\theta$,化简得:
$$N = n\theta$$
因此解得:
$$\theta = \frac{N}{n}$$
故参数 $\theta$ 的最大似然估计量为 $\hat{\theta} = \frac{N}{n}$,其中 $N$ 为样本中取值为1的个数,$n$ 为样本容量。
**验证**:该估计量是样本均值,对于伯努利分布而言,样本均值是参数的无偏、一致估计,且满足似然方程的解。由于二阶导数 $\frac{\partial^2 \ln L}{\partial \theta^2} = -\frac{N}{\theta^2} - \frac{n-N}{(1-\theta)^2} < 0$,该解确为极大值点。
公式:\hat{\theta} = \frac{N}{n}
提示:解似然方程时,先通分去分母,再整理合并同类项,最后验证二阶导数确保是极大值。