Machine Learning Techniques 笔记：2-2 Dual Support Vector Machine
找出最佳的线，margin最大，通过QP求解
非线性特征转换，只需要将原来的x转换为z即可。z空间的线性分类，对应到原来的x空间，可能就是一个非线性的分类动作
透过SVM，large margin，来控制模型的复杂度。透过特征转换得到弯曲的边界，做好Ein
如果d quota的维度很大时，比如无穷大，则可能无法做好。怎么办？
目标：只跟资料数量有关，与特征的维度无关
原来的问题：有条件的最佳化问题
换成：没有条件的Augment error的方式，拉格朗日乘子法
SVM：N个限制条件，对应的拉格朗日乘子就有N个
定义一个拉格朗日函数,对于b，w而言，看起来完全没有任何条件。
如果有违反，不好的b，w，一个方块量+正数：最大化会到无穷
如果不违法，则一个方块量，加一个小于等于0的量，最大化结果为这个方块量
最重要的是：对b，w最佳化的问题，转化为看起来没有条件的问题。
满足某些资格的条件：强对偶关系。
b已经被需要解决的最佳化问题消除。
导出来的简化版的，几乎只与alpha有关的对偶问题。
alpha，与（1-y（wz+b））至少有一个为零。
原来：边界上的点为support vector candidate
对偶问题求出的alpha：即为支持向量
PLA：用犯错的点表示出最后的w
SVM:用边界上的点，表示出最后的w
原始的SVM：与变换的空间维度有关，求b，w，自由放缩得到最优解
对偶的SVM：与资料量有关，与维度无关，与bw无关，找出support vector,以及与之相应的alpha 来做预测。
看起来，对偶问题的解，只与资料量N有关，与维度d quota无关。 ？真的无关? d quota隐藏在对偶问题的Q矩阵（QD）内部，藏在算q的地方。 即整个计算还是与d quota有关。 如果要完全与d quota无关，则需要整个计算避开计算Q矩阵，否则永远无法做到计算d quota为无穷大的场合。
如何完全避开？利用核函数。