PCA主成分分析算法的数学原理推导

PCA(Principal Component Analysis)主成分分析法的数学原理推导
1、主成分分析法PCA的特点与作用如下:
(1)是一种非监督学习的机器学习算法
(2)主要用于数据的降维
(3)通过降维,可以发现人类更加方便理解的特征
(4)其他的应用:去燥;可视化等
2、主成分分析法的数学原理主要是利用梯度上升法来最优化目标函数,即利用梯度上升法来求取效用函数的最大值,其具体的数学原理推导过程如下所示:

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

PCA主成分分析算法的数学原理推导

 

PCA主成分分析算法的数学原理推导

对于以上的函数,因为梯度的向量化表示我们已经求得,因此,我们便可以通过梯度上升法求取函数的最大值!