浙大机器学习课程-4-支持向量机（SVM处理非线性可分1，加正则项）
SVM处理非线性：让非线性可分也有解
改造方式
如果训练样本不是线性可分的，就找不出w和b满足下面这个式子，
所以引入了松弛变量
引入了松弛变量使得上面这个限制条件可以成立
最小化w的模是为了最大化d，
但是又不能让kesai i 太大，太大的话优化问题会过于发散，上面这个式子就是为了限制kesai i不会 太大，相当于把所有的kesai i求和，加了一个系数C，换句话说，C有两个任务，1是最小化w的模，第二个任务是让每一个kesai i都比较小
加了上面的限制条件，对于所有的非线性可分的情况，我们都能求出w,b,kesai i
分清已知量和未知量
xi,yi是已知量w,b,kesai i是未知量
这个叫正则项，是为了让目标函数规范化
这就是一个目标函数
在非线性可分的情况下，优化任务是没有解的，要让没有解的状况变成有解的，就需要加上正则项
其他情况：目标函数以及优化问题有解，但是不是我们想要的解，也需要加正则项（Regulation Term）
C是一个事先设定的参数，用来平衡①，②两个部分在目标函数中的比重
我们一般会给C一个取值范围，比如根据经验在（-15，15）之间，每隔一个间隔取一个值，看试出来哪一个值效果更好
在学习过程中，有一些限制性的参数我们需要不断地尝试，根据不同的任务，优化参数的取值
在SVM中，需要事先设定的参数不多，神经网络就比较多了