您的位置: 首页  >  文章  >  python 实现PCA（二）

python 实现PCA（二）

分类: 文章 • 2024-01-08 20:36:34

1.PCA原理介绍

  主成分分析（英语：Principal components analysis，PCA）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。PCA的核心是处理数据，将需要处理的数据转换到矩阵，一般来只要能够转换为合适矩阵的数据，在计算量非常大的时候都可以通过PCA进行降维，进而达到简化和提速的目的。具体的数据推倒过程，下边这边文章介绍的很好：http://blog.****.net/watkinsong/article/details/38536463

PCA涉及到比较多的数学知识，matlab、python之类语言都会自带有PCA计算的一些包，经过这样之后，可以方便我们的计算，但同时，当数据量非常大的时候，本身计算PCA的过程也需要耗费大量的内存，后来很多人基于数学理论提出了非常多的快速PCA的算法，扩展了PCA的应用。

2.python实现PCA

根据机器学习实战这本书的指导，利用python的numpy计算库的函数逐一实现PCA的计算过程，加深其理解，最后对获得的数据进行可视化。

[python] view plain copy
  1. # coding=utf-8  
  2. __author__ = 'Administrator'  
  3.   
  4. from numpy import *  
  5. # 加载数据，返回mat型数据  
  6. def loadDataSet(filename,delim='\t'):  
  7.     fr =open(filename)  
  8.     stringArr =[line.strip().split(delim) for line in fr.readlines()]  
  9.     datArr =[map(float,line) for line in stringArr]  
  10.     return mat(datArr)  
  11.   
  12. # 进行PCA计算  
  13. def pca(dataMat,topNfeat=9999999):  
  14.     #求数据集的平均值，用数据减去其平均值  
  15.     meanVals =mean(dataMat,axis=0)  
  16.     meanRemoved =dataMat - meanVals  
  17.     #计算协方差矩阵  
  18.     covMat =cov(meanRemoved,rowvar =0)  
  19.     #得到协方差矩阵的特征值和特征向量  
  20.     eigvals,eigVects =linalg.eig(mat(covMat))  
  21.     #对特征值进行排序  
  22.     eigValInd =argsort(eigvals)  
  23.     #得到前N个特征值和对应的特征向量  
  24.     eigValInd =eigValInd[:-(topNfeat+1):-1]  
  25.     redEigVects =eigVects[:,eigValInd]  
  26.     #利用特征向量对去掉平均值的数据进行降维  
  27.     lowDDataMat =meanRemoved * redEigVects  
  28.     #得到最后的输出低维矩阵  
  29.     reconMat =(lowDDataMat * redEigVects.T) +meanVals  
  30.     return lowDDataMat,reconMat  
  31.   
  32. if __name__=='__main__':  
  33.     import matplotlib  
  34.     import matplotlib.pyplot as plt  
  35.     # 加载数据  
  36.     dataMat =loadDataSet('testSet.txt')  
  37.     # 进行pca，这里将数据转换为1维  
  38.     lowDat,reconMat =pca(dataMat,1)  
  39.     # 显示结果  
  40.     fig =plt.figure()  
  41.     ax =fig.add_subplot(111)  
  42.     ax.scatter(dataMat[:,0].flatten().A[0],dataMat[:,1].flatten().A[0],marker='^',s=90)  
  43.     ax.scatter(reconMat[:,0].flatten().A[0],reconMat[:,1].flatten().A[0],marker='o',s=50,c='red')  
  44.     plt.show()  

程序运行结果如下，蓝色表示原始数据，红色为PCA降维后的数据：

python 实现PCA（二）

相关推荐