机器学习-支持向量机原理

  • 支持向量机做为传统二分类分类器,其能处理线性可分数据,也能处理线性不可分数据(利用核函数),是一种非常重要和受欢迎的分类算法.

  • 支持向量机的决策边界可以做个形象的定义

  • 决策边界:选出来离雷区最远的(雷区就是边界上的点,要Large Margin)

  • 机器学习-支持向量机原理

  • 对于目标函数的计算问题 可以转换为距离的计算问题

  • 机器学习-支持向量机原理

  • 决策方程的定义

  • 机器学习-支持向量机原理

  • 优化的目的: 同一个点 也许都是最近点 但是 决策边界可以 变化 也就是间隙 会有所不同 最求最大雷区间距

  • 机器学习-支持向量机原理

  • 目标函数 由求极大问题 转换为求极小

  • 机器学习-支持向量机原理

  • 因为是带约束条件的求最小值问题 所以引入拉格朗日乘子法

  • 机器学习-支持向量机原理

  • 计算过程如下

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  •  

  • 求解实例

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • 再支持向量机种 发挥作用的是 阿尔法不为0的样本点 即为支持向量

  • 机器学习-支持向量机原理

  • 机器学习-支持向量机原理

  • C是我们控制的参数

  • 机器学习-支持向量机原理

  • 低维不可分映射到高维空间

  • 机器学习-支持向量机原理

  • 简单计算实例

  • 机器学习-支持向量机原理