机器学习 之PCA(主成分分析)

PCA能做的事其实很有限,那就是:降维。为什要降维呢?很明显,数据中有些内容没有价值,这些内容的存在会影响算法的性能,和准确性。
机器学习 之PCA(主成分分析)
机器学习 之PCA(主成分分析)
看这两个图,就说明了降维的意义,越降维,维度就会越有意义。这样只取x2的值(投影),就从二维降维到了一维。主成分分析可以让数据的投影到那些数据分布尽可能分散(信息最大)的平面上,比如上图的y1,从而忽视y2的作用,进而达到降维的目的。

说是降维,实际上就是坐标变换+去掉一些坐标,降维函数实际上一个 W W W就可以了。

我们说数据尽可能分散(信息最大化),体现在矩阵上就是方差很大,矩阵方差。。。向量的方差倒还是非常好解决了。最后的方差反而跟之前的方差与w有关。

利用lagrange multiplier 方法求解问题,不是很明白了。
机器学习 之PCA(主成分分析)
就这样,能够算出 w w w,PCA也就完毕了。