SVM支持向量机

SVM (Support Vector Machine)

二分类，Y为样本的类别： 当X为正例时候 Y = +1 当X为负例时候 Y = -1
因此

优化目标：求出 w和b 使得离决策边界y(x)最近的点到决策边界的距离最远

目标函数：

转换成极小值问题：
应用拉格朗日乘子法转换：

分别对w和b 求偏导

再带入原式化简：
L(w,b,a)


其中 xi,xj,是样本值，yi,yj是样本的分类（二分类是+1或-1），代入数据化简成只有a的式子，再对a(1),a(2),a(i)求偏导，求得a的值（过滤掉不符合条件的）
例子：



根据a值求得w，在求得b,得到结果

性质：a(i)为0，说明该点对最终结果不起作用该点必然不在决策边界上，在边界上的样本，a必然不等于0。边界上的点是支持向量。
只要支持向量的样本点不变，其他样本点的多少对结果不影响
软间隔 soft-margin
对于离群点（脏数据，噪音点，错误点）导致严重影响结果。
为了解决这个问题，引入松弛因子，
其中C越小，则容忍程度越大，C越大，越严格


差异：引入新约束条件 C >=a(i)
低纬度不可分： （转换成高纬分类）对x做核变换

维度扩大多少呢，计算量变大？
映射K(x,y)=<x,y>^2=<f(x),f(y)> ，求解直接在低纬求解，化简了高纬计算
高斯核函数