• 去平均值，即每一位特征减去各自的平均值
• 计算协方差矩阵
• 计算协方差矩阵的特征值与特征向量
• 对特征值从大到小排序
• 保留最大的个特征向量

• 将数据转换到个特征向量构建的新空间中
  
  

  PCA推导

      以下面这幅图开始我们的推导：

  
  

  上面是二维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图：

  
  

  现在要做的事情就是寻找u1的方向，对于这点，我想好多人都有经验，这不就是以前用最小二乘法拟合数据时做的事情吗！对，最小二乘法求出来的直线（二维）的方向就是u1的方向！那u2的方向呢？因为这里是二维情况，所以u2方向就是跟u1垂直的方向，对于高维数据，怎么知道u2的方向？经过下面的理论推导，各个主轴都能确定下来。

      给定一组数据：（如无说明，以下推导中出现的向量都是默认是列向量）

                 

  将其中心化后表示为：

          
  

           

  中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将x与u1做内积，由于只需要求u1的方向，所以设u1是单位向量。

  也就是最大化下式：

                                 
  

  也即最大化：

                     
  

  解释：平方可以把绝对值符号拿掉，光滑曲线处理起来方便。

  两个向量做内积可以转化成矩阵乘法：

                      
  

  所以目标函数可以表示为：

                                       
  

  括号里面就是矩阵乘法表示内积，转置以后的行向量乘以列向量得到一个数。因为一个数的转置还是其本身，所以又可以将目标函数化为：

                                   
  

  这样就可以把括号去掉！去掉以后变成：

                                    
  

  由于u1和i无关，可以把它拿到求和符外面：

                                   

  注意，其实括号里面是一个矩阵乘以自身的转置，这个矩阵形式如下：

                                  
  

  X矩阵的第i列就是xi，于是有：

                                   
  

  所以目标函数最后化为：

                                  
  

  上式到底有没有最大值呢？如果没有前面的1/n，那就是就是一个标准的二次型！并且XX'(为了方便，用'表示转置)得到的矩阵是一个半正定的对称阵！为什么？首先XX'是对称阵，因为(XX')'=XX'，下面证明它是半正定，什么是半正定？就是所有特征值大于等于0。

  假设XX'的某一个特征值为，对应的特征向量为，则有：

                                                                               
  

                                                                   
  

                                                                  
  

                        
  

                                                        
  

  证明完毕！对于半正定阵的二次型，存在最大值！现在问题就是如何求目标函数的最大值？以及取最大值时u1的方向？下面介绍两种方法。

  方法一  拉格朗日乘数法

  目标函数和约束条件构成了一个最大化问题：

                                                        
  

  构造拉格朗日函数：

                                     
  

  对u1求导

                                    
  

  显然，u1即为XX'特征值对应的特征向量！XX'的所有特征值和特征向量都满足上式，那么将上式代入目标函数表达式即可得到

                                        

  所以，如果取最大的那个特征值，那么得到的目标值就最大。有可能你会有疑问，为什么一阶导数为0就是极大值呢？那么再求二阶导数：

  
  

  二阶导数半负定，所以，目标函数在最大特征值所对应的特征向量上取得最大值！所以，第一主轴方向即为第一大特征值对应的特征向量方向。第二主轴方向为第二大特征值对应的特征向量方向，以此类推，证明类似。

PCA推导

    以下面这幅图开始我们的推导：

上面是二维空间中的一组数据，很明显，数据的分布让我们很容易就能看出来主成分的轴（简称主轴）的大致方向。下面的问题就是如何通过数学计算找出主轴的方向。来看这张图：

现在要做的事情就是寻找u1的方向，对于这点，我想好多人都有经验，这不就是以前用最小二乘法拟合数据时做的事情吗！对，最小二乘法求出来的直线（二维）的方向就是u1的方向！那u2的方向呢？因为这里是二维情况，所以u2方向就是跟u1垂直的方向，对于高维数据，怎么知道u2的方向？经过下面的理论推导，各个主轴都能确定下来。

    给定一组数据：（如无说明，以下推导中出现的向量都是默认是列向量）

将其中心化后表示为：

中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法就是将x与u1做内积，由于只需要求u1的方向，所以设u1是单位向量。

也就是最大化下式：

也即最大化：

解释：平方可以把绝对值符号拿掉，光滑曲线处理起来方便。

两个向量做内积可以转化成矩阵乘法：

所以目标函数可以表示为：

括号里面就是矩阵乘法表示内积，转置以后的行向量乘以列向量得到一个数。因为一个数的转置还是其本身，所以又可以将目标函数化为：

这样就可以把括号去掉！去掉以后变成：

由于u1和i无关，可以把它拿到求和符外面：

注意，其实括号里面是一个矩阵乘以自身的转置，这个矩阵形式如下：

X矩阵的第i列就是xi，于是有：

所以目标函数最后化为：

上式到底有没有最大值呢？如果没有前面的1/n，那就是就是一个标准的二次型！并且XX'(为了方便，用'表示转置)得到的矩阵是一个半正定的对称阵！为什么？首先XX'是对称阵，因为(XX')'=XX'，下面证明它是半正定，什么是半正定？就是所有特征值大于等于0。

假设XX'的某一个特征值为，对应的特征向量为，则有：

证明完毕！对于半正定阵的二次型，存在最大值！现在问题就是如何求目标函数的最大值？以及取最大值时u1的方向？下面介绍两种方法。

方法一  拉格朗日乘数法

目标函数和约束条件构成了一个最大化问题：

构造拉格朗日函数：

对u1求导

显然，u1即为XX'特征值对应的特征向量！XX'的所有特征值和特征向量都满足上式，那么将上式代入目标函数表达式即可得到

所以，如果取最大的那个特征值，那么得到的目标值就最大。有可能你会有疑问，为什么一阶导数为0就是极大值呢？那么再求二阶导数：

二阶导数半负定，所以，目标函数在最大特征值所对应的特征向量上取得最大值！所以，第一主轴方向即为第一大特征值对应的特征向量方向。第二主轴方向为第二大特征值对应的特征向量方向，以此类推，证明类似。