【学习笔记】《数据挖掘:理论与算法》CH5 支持向量机

支持向量机 Support Vector Machines

线性分类

在原始空间做一个映射,在新的空间中进行分类(线性分类器,分类的时候保持margin最大)

  1. Margin
    间隔:能够偏离的距离
    值越大,容错能力越强
    求解:2/|w|
  2. Support Vector
    正好卡住分界面的点
  3. 两者关系
    Support Vector决定移动的范围,范围的大小叫做Margin
  4. 目标
    • 把样本分对
      yi(wxi+b)1>=0y_i (w·x_i+b)- 1>= 0
    • 使Margin最大
      min12wTwmin\frac{1}{2} w^T w
  5. 例子
    【学习笔记】《数据挖掘:理论与算法》CH5 支持向量机
  6. Soft Margin
    放宽约束条件(处理噪点)

非线性分类

  1. Feature Space
    映射后的空间 ,转变问题
    【学习笔记】《数据挖掘:理论与算法》CH5 支持向量机
  2. Kernel Trick
    低维映射到高维(高维空间中容易分类),而高维空间中的操作等同于低维空间中的操作(高维空间操作复杂)
  3. String Kernel
    文本内容处理

实例:
【学习笔记】《数据挖掘:理论与算法》CH5 支持向量机
资源
【学习笔记】《数据挖掘:理论与算法》CH5 支持向量机