关于序列最小最优化SMO
- SMO是SVM的实现问题
- 思路：
- 所有变量满足KKT条件，即为最优解
- 选择两个变量，固定其他变量，从而简化为二次规划问题。提高了整个算法的速度。
- 两个方面的问题：
- 两变量二次规划的解析求法
- 选择变量的启发式方法。
关于两变量二次规划的求解问题：
选择两变量之后的子问题为：
二变量的范围限制：
二变量最优解为：
求解过程如下：
关于变量的选择方法：
两个变量至少有一个变量是违反KKT条件的。
1）第一个变量的选择
2）第二个变量的选择
3）计算b并更新Ei
关于两变量二次规划的求解问题：
选择两变量之后的子问题为：
二变量的范围限制：
二变量最优解为：
求解过程如下：
关于变量的选择方法：
两个变量至少有一个变量是违反KKT条件的。
1）第一个变量的选择
2）第二个变量的选择
3）计算b并更新Ei