华东师范大学 2014年高等代数第2题

考虑线性方程组 $AX = B$，其中 $A \in M_{m \times n}(\mathbb{R})$，$B \in M_{m \times 1}(\mathbb{R})$。通常该方程组可能无解，但我们可以寻找最小二乘解，即求 $X$ 使得 $\|AX - B\|^2$ 最小。最小二乘解满足法方程 $A^T A X = A^T B$。因此，要证明原方程组有解，只需证明法方程总有解。

定义函数 $f(X) = \|AX - B\|^2$，这是一个关于 $X$ 的凸二次函数。由于 $f(X)$ 是连续函数且当 $\|X\| \to \infty$ 时 $f(X) \to \infty$，因此 $f(X)$ 存在全局最小值。设最小值点为 $\hat{X}$，则梯度为零：$\nabla f(\hat{X}) = 2A^T(A\hat{X} - B) = 0$，即 $A^T A \hat{X} = A^T B$。所以法方程有解。

要证明 $A^T A X = A^T B$ 有解，等价于证明 $A^T B$ 属于 $A^T A$ 的列空间，即 $A^T B \in \operatorname{Col}(A^T A)$。由于 $\operatorname{Col}(A^T A) \subseteq \operatorname{Col}(A^T)$，而 $A^T B$ 显然属于 $\operatorname{Col}(A^T)$，但我们需要更强的包含关系。实际上，可以证明 $\operatorname{Col}(A^T A) = \operatorname{Col}(A^T)$。

首先，显然 $\operatorname{Col}(A^T A) \subseteq \operatorname{Col}(A^T)$，因为 $A^T A$ 的每一列都是 $A^T$ 的列的线性组合。反之，设 $y \in \operatorname{Col}(A^T)$，则存在 $z$ 使得 $y = A^T z$。我们需要证明存在 $x$ 使得 $A^T A x = y$。考虑方程组 $A^T A x = A^T z$，这正是法方程的形式，由最小二乘解的存在性知有解。因此 $y \in \operatorname{Col}(A^T A)$。所以 $\operatorname{Col}(A^T A) = \operatorname{Col}(A^T)$。

设 $A$ 的奇异值分解为 $A = U \Sigma V^T$，其中 $U \in M_{m \times m}$ 正交，$V \in M_{n \times n}$ 正交，$\Sigma \in M_{m \times n}$ 是对角矩阵，对角线元素为 $\sigma_1 \geq \cdots \geq \sigma_r > 0$，$r = \operatorname{rank}(A)$。则 $A^T A = V \Sigma^T \Sigma V^T$，其中 $\Sigma^T \Sigma$ 是 $n \times n$ 对角矩阵，前 $r$ 个对角元为 $\sigma_i^2$，其余为0。法方程化为 $V \Sigma^T \Sigma V^T X = V \Sigma^T U^T B$，即 $\Sigma^T \Sigma V^T X = \Sigma^T U^T B$。令 $Y = V^T X$，$C = \Sigma^T U^T B$，则方程为 $\Sigma^T \Sigma Y = C$。由于 $\Sigma^T \Sigma$ 是对角矩阵，该方程有解当且仅当 $C$ 的后 $n-r$ 个分量为0。而 $C = \Sigma^T U^T B$ 的后 $n-r$ 个分量正是 $\Sigma^T$ 的零行对应的部分，因此为0。所以方程有解。

综上，无论从最小二乘问题的存在性、列空间相等还是奇异值分解的角度，都可以证明线性方程组 $A^T A X = A^T B$ 一定有解。因此原命题得证。