机器学习-无监督学习3

主成分分析和奇异值分解

降维分析

简单介绍
用少量的特征代替整体的特征
方法类型

  • 主成分分析(Principal components analysis, PCA)
  • 线性判别分析(LDA)
  • 流形学习(局部线性嵌入-LLE,拉普拉斯特征映射)

主成分分析

概念化定义
在多元统计分析中,PCA经常用于减少数据的维数,同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分,忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。

简单解释
用数据的方差化信息,选取少量方差大的特征代替整体的特征。

  • 线性降维方法
  • 将高维的数据映射到低维的空间中表示
  • 期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性

PCA分析和扩展

优点

  • 可消除特征之间的相关影响
  • 可减少指标选择的工作量
  • 可进行降维处理降低数据维度
  • 完全无参数限制

缺点

  • 无法通过参数化等方法对处理过程进行干预
  • 在非高斯分布的情况下,选取的结果不一定是最优的

PCA扩展

  • 可将SVM中用到的核函数运用到PCA中,形成核PCA方法,对于数据进行线性降维
  • 若期望不以方差作为数据信息的衡量因素,而希望分析数据的主要影响因子或分析数据的独立成分,则可用Factor Analysis (因子分析)、ICA(独立成分分析)等方法

奇异值分解

特征值与特征值分解
机器学习-无监督学习3
奇异值分解
机器学习-无监督学习3
奇异值分解原理
机器学习-无监督学习3
PCA与SVD的关系
机器学习-无监督学习3
将SVD引入PCA的计算方法
机器学习-无监督学习3