您的位置: 首页  >  文章  >  简单易学的机器学习算法——主成分分析(PCA)

简单易学的机器学习算法——主成分分析(PCA)

分类: 文章 • 2024-02-28 10:48:46

一、数据降维

       对于现在维数比较多的数据，我们首先需要做的就是对其进行降维操作。降维，简单来说就是说在尽量保证数据本质的前提下将数据中的维数降低。降维的操作可以理解为一种映射关系，例如函数简单易学的机器学习算法——主成分分析(PCA)，即由原来的二维转换成了一维。处理降维的技术有很多种，如前面的SVD奇异值分解，主成分分析(PCA)，因子分析(FA)，独立成分分析(ICA)等等。

二、PCA的概念

       PCA是一种较为常用的降维技术，PCA的思想是将简单易学的机器学习算法——主成分分析(PCA)维特征映射到简单易学的机器学习算法——主成分分析(PCA)维上，这简单易学的机器学习算法——主成分分析(PCA)维是全新的正交特征。这简单易学的机器学习算法——主成分分析(PCA)维特征称为主元，是重新构造出来的简单易学的机器学习算法——主成分分析(PCA)维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。其中，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选取的是与第一个坐标轴正交且具有最大方差的方向，依次类推，我们可以取到这样的简单易学的机器学习算法——主成分分析(PCA)个坐标轴。

三、PCA的操作过程

    1、PCA的操作流程大致如下：

  • 去平均值，即每一位特征减去各自的平均值
  • 计算协方差矩阵
  • 计算协方差矩阵的特征值与特征向量
  • 对特征值从大到小排序
  • 保留最大的简单易学的机器学习算法——主成分分析(PCA)个特征向量
  • 将数据转换到简单易学的机器学习算法——主成分分析(PCA)个特征向量构建的新空间中

    2、具体的例子

        假设二维数据为：
简单易学的机器学习算法——主成分分析(PCA)
  • 取平均值
       我们计算每一维特征的平均值，并去除平均值，我们计算出均值为
简单易学的机器学习算法——主成分分析(PCA)
去除均值后的矩阵为
简单易学的机器学习算法——主成分分析(PCA)
  • 计算协方差矩阵
简单易学的机器学习算法——主成分分析(PCA)
  • 计算特征值与特征向量
其中，特征值为
简单易学的机器学习算法——主成分分析(PCA)
特征向量为
简单易学的机器学习算法——主成分分析(PCA)
  • 对特征值进行排序，显然就两个特征值
  • 选择最大的那个特征值对应的特征向量
简单易学的机器学习算法——主成分分析(PCA)
  • 转换到新的空间
简单易学的机器学习算法——主成分分析(PCA)

四、实验的仿真

我们队一个数据集进行了测试：
简单易学的机器学习算法——主成分分析(PCA)
MATLAB实验代码如下：
主程序
  1. %% pca  
  2.   
  3. dataSet = load('testSet.txt');%导入数据  
  4.   
  5. % pca  
  6. [FinalData, reconData] = PCA(dataSet, 1);  
  7.   
  8. %% 作图  
  9. hold on  
  10. plot(dataSet(:,1), dataSet(:,2), '.');  
  11. plot(reconData(:,1), reconData(:,2), '.r');  
  12. hold off   

PCA函数段
  1. function [ FinalData,reconData ] = PCA( dataSet, k )  
  2.     [m,n] = size(dataSet);  
  3.   
  4.    %% 去除平均值  
  5.     %取平均值  
  6.     dataSetMean = mean(dataSet);  
  7.     %减去平均值  
  8.     dataSetAdjust = zeros(m,n);  
  9.     for i = 1 : m  
  10.         dataSetAdjust(i , :) = dataSet(i , :) - dataSetMean;  
  11.     end  
  12.   
  13.     %% 计算协方差矩阵  
  14.     dataCov = cov(dataSetAdjust);  
  15.   
  16.     %% 计算协方差矩阵的特征值与特征向量  
  17.     [V, D] = eig(dataCov);  
  18.       
  19.     % 将特征值矩阵转换成向量  
  20.     d = zeros(1, n);  
  21.     for i = 1:n  
  22.         d(1,i) = D(i,i);  
  23.     end  
  24.       
  25.     %% 对特征值排序  
  26.     [maxD, index] = sort(d);  
  27.       
  28.     %% 选取前k个最大的特征值  
  29.     % maxD_k = maxD(1, (n-k+1):n);  
  30.     index_k = index(1, (n-k+1):n);  
  31.     % 对应的特征向量  
  32.     V_k = zeros(n,k);  
  33.     for i = 1:k  
  34.         V_k(:,i) = V(:,index_k(1,i));  
  35.     end  
  36.       
  37.     %% 转换到新的空间  
  38.     FinalData = dataSetAdjust*V_k;  
  39.       
  40.     % 在原图中找到这些点  
  41.     reconData = FinalData * V_k';  
  42.     for i = 1 : m  
  43.         reconData(i , :) = reconData(i , :) + dataSetMean;  
  44.     end  
  45. end  

参考文献

一、数据降维

       对于现在维数比较多的数据，我们首先需要做的就是对其进行降维操作。降维，简单来说就是说在尽量保证数据本质的前提下将数据中的维数降低。降维的操作可以理解为一种映射关系，例如函数简单易学的机器学习算法——主成分分析(PCA)，即由原来的二维转换成了一维。处理降维的技术有很多种，如前面的SVD奇异值分解，主成分分析(PCA)，因子分析(FA)，独立成分分析(ICA)等等。

二、PCA的概念

       PCA是一种较为常用的降维技术，PCA的思想是将简单易学的机器学习算法——主成分分析(PCA)维特征映射到简单易学的机器学习算法——主成分分析(PCA)维上，这简单易学的机器学习算法——主成分分析(PCA)维是全新的正交特征。这简单易学的机器学习算法——主成分分析(PCA)维特征称为主元，是重新构造出来的简单易学的机器学习算法——主成分分析(PCA)维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。其中，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选取的是与第一个坐标轴正交且具有最大方差的方向，依次类推，我们可以取到这样的简单易学的机器学习算法——主成分分析(PCA)个坐标轴。

三、PCA的操作过程

    1、PCA的操作流程大致如下：

  • 去平均值，即每一位特征减去各自的平均值
  • 计算协方差矩阵
  • 计算协方差矩阵的特征值与特征向量
  • 对特征值从大到小排序
  • 保留最大的简单易学的机器学习算法——主成分分析(PCA)个特征向量
  • 将数据转换到简单易学的机器学习算法——主成分分析(PCA)个特征向量构建的新空间中

    2、具体的例子

        假设二维数据为：
简单易学的机器学习算法——主成分分析(PCA)
  • 取平均值
       我们计算每一维特征的平均值，并去除平均值，我们计算出均值为
简单易学的机器学习算法——主成分分析(PCA)
去除均值后的矩阵为
简单易学的机器学习算法——主成分分析(PCA)
  • 计算协方差矩阵
简单易学的机器学习算法——主成分分析(PCA)
  • 计算特征值与特征向量
其中，特征值为
简单易学的机器学习算法——主成分分析(PCA)
特征向量为
简单易学的机器学习算法——主成分分析(PCA)
  • 对特征值进行排序，显然就两个特征值
  • 选择最大的那个特征值对应的特征向量
简单易学的机器学习算法——主成分分析(PCA)
  • 转换到新的空间
简单易学的机器学习算法——主成分分析(PCA)

四、实验的仿真

我们队一个数据集进行了测试：
简单易学的机器学习算法——主成分分析(PCA)
MATLAB实验代码如下：
主程序
  1. %% pca  
  2.   
  3. dataSet = load('testSet.txt');%导入数据  
  4.   
  5. % pca  
  6. [FinalData, reconData] = PCA(dataSet, 1);  
  7.   
  8. %% 作图  
  9. hold on  
  10. plot(dataSet(:,1), dataSet(:,2), '.');  
  11. plot(reconData(:,1), reconData(:,2), '.r');  
  12. hold off   

PCA函数段
  1. function [ FinalData,reconData ] = PCA( dataSet, k )  
  2.     [m,n] = size(dataSet);  
  3.   
  4.    %% 去除平均值  
  5.     %取平均值  
  6.     dataSetMean = mean(dataSet);  
  7.     %减去平均值  
  8.     dataSetAdjust = zeros(m,n);  
  9.     for i = 1 : m  
  10.         dataSetAdjust(i , :) = dataSet(i , :) - dataSetMean;  
  11.     end  
  12.   
  13.     %% 计算协方差矩阵  
  14.     dataCov = cov(dataSetAdjust);  
  15.   
  16.     %% 计算协方差矩阵的特征值与特征向量  
  17.     [V, D] = eig(dataCov);  
  18.       
  19.     % 将特征值矩阵转换成向量  
  20.     d = zeros(1, n);  
  21.     for i = 1:n  
  22.         d(1,i) = D(i,i);  
  23.     end  
  24.       
  25.     %% 对特征值排序  
  26.     [maxD, index] = sort(d);  
  27.       
  28.     %% 选取前k个最大的特征值  
  29.     % maxD_k = maxD(1, (n-k+1):n);  
  30.     index_k = index(1, (n-k+1):n);  
  31.     % 对应的特征向量  
  32.     V_k = zeros(n,k);  
  33.     for i = 1:k  
  34.         V_k(:,i) = V(:,index_k(1,i));  
  35.     end  
  36.       
  37.     %% 转换到新的空间  
  38.     FinalData = dataSetAdjust*V_k;  
  39.       
  40.     % 在原图中找到这些点  
  41.     reconData = FinalData * V_k';  
  42.     for i = 1 : m  
  43.         reconData(i , :) = reconData(i , :) + dataSetMean;  
  44.     end  
  45. end  

参考文献

相关推荐