MIT1806 最小二乘法的思考1

最小二乘法中关于
$A^TA$ATA是否需要可逆的问题：

$A^TA$ATA是最小二乘的解的充分条件，有一个满秩的
$(A^TA)x=A^Tb$(ATA)x=ATb是个多好的事情

但反过来不一定成立：
$A^TA$ATA不是最小二乘的解的必要条件

考虑A是个冗余的3维空间的平面子空间，比如xy平面
$A=\left[ \begin{array}{ccc} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ 0 & 0 & 0 \end{array} \right]$A=⎣⎡​a11​a21​0​a12​a22​0​a13​a23​0​⎦⎤​,
假定$a_{ij}\ne0$aij​​=0,A的秩是2；

然后我们令
$b=\left[ \begin{matrix} 1 \\ 4 \\ 7 \end{matrix} \right]$b=⎣⎡​147​⎦⎤​

对于方程$A^\tau A\hat{x}=A^Tb$AτAx^=ATb有解且有无数解；

举例上图中，b投影到$R^3$R3的一个黑色向量构成的平面子空间中，这个方程必定有解。
此时$rank(A^TA)=2$rank(ATA)=2.