【统计学习方法.李航】SVM支持向量机

线性可分支持向量机

【统计学习方法.李航】SVM支持向量机

定义函数间隔,
定义几何间隔

目标,几何间隔最大化?

令函数间隔=1,将原问题转为凸二次规划问题

怎么求解凸二次规划呢?原问题不好求?

所以,拉格朗日,得到对偶问题。求解了对偶问题,得到拉格朗日乘子,利用KKT,得到w,b

所以接下来的目标,求解对偶问题的最优化

怎么求呢?SMO

后来呢,遇到线性不可分的问题怎么办?加松弛变量

再后来,遇到非线性咋整?映射,将实例空间映射到线性可分的空间,再利用SVM分开就行,可是。。。这映射函数不好找啊,咋整?

么事,咱么有核函数,啥意思么?核函数可以在低维进行计算,而将实质上的分类效果表现在了高维上,完美!!!

支持向量机通俗导论(理解SVM的三层境界)
SMO优化算法