如何使用线性代数实现最小二乘法拟合曲线

也许在我们读高中的时候，就知道在数学的世界里，有一种直线拟合的方式：最小二乘法。它是一种数学优化技术，原理是通过最小化误差的平方和寻找数据的最佳函数匹配。

比如研究x和y之间的关系，假设我们拥有的数据是将这些数据描绘在x-y直角坐标系中，发现这些点并没有能够连接成一条直线。

但趋势近似一条曲线，这时可以假设这条曲线为： 。

根据最小二乘的原理，使即最小化,可以得到值，再根据直线过点得出b的值。为横坐标的平均值，为纵坐标的平均值。

其中，,。

其实最小二乘法不仅可以拟合直线（一次），还可以拟合曲线（≥2次）。

在温习了高中所学的最小二乘法后，让我们使用大学里线性代数的知识，进行拟合吧。

Ax=b，A是m*n型的矩阵其中m>n，A列满秩，那么Ax=b可能有解，也可能无解。

如果Ax=b有解，因为列满秩，容易得知x的解是唯一的，其实可以想象成空间里投影，就是b在A的列空间上C（A）里投影是唯一的；

如果Ax=b无解，说明b ∉ C（A），那么我们把问题转化一下：求，使得A与b之间的距离最小，也就是Min

这时我们需要一点空间想象的能力，所要求的，无非就是向量b在C（A）这个空间上的投影点，因为只有在这种情况下，||b-A||才是最小。

我们来看一个点在直线上投影的例子：

如图，我们要求b在a上的投影向量p，只要稍微懂点高中数学的向量知识，我们可以得到下面两个式子：

①p+e=b，e⊥a

②p=ta（t∈R）

因为e⊥a，所以，也就是，所以

那么b在a上的投影向量为

又因为

所以投影向量又可以写成

习惯上，我们习惯将称为投影矩阵，比如对任意b∈，Sb是b在a上的投影向量。

我们会发现一个有趣的性质，，其实很好理解，Sb是指b在a上的投影向量，那么则是指b在a上投影一次后的投影，再投影一次，Sb和无疑是相等的，所以，根据容易得出，此处不进行推导。

接着进行分析，看上图，易知b-p⊥C(A),那么则有，去括号得，我们称此方程为法方程，Ax=b可能无解，但一定有解。

那么，就是最小二乘法拟合下的最优值。

接着来看p，因为p=A，则。巧妙的，我们可以很容易地发现这个东西也符合上面投影矩阵S的性质：。

说了这么多，是不是感觉用线性代数完成最小二乘法特别的方便呢！