支持向量机(SVM)第四章---支持向量回归

简单总结一下自己对SVM的认识：有一条带区域，固定差距为1，希望最大化间隔1||w||$\frac{1}{||w||}$。SVM的特点就是这条带的引入。

SVR同样有这样的一条带，回归的时候，落入带内的点，损失为0，只记录落入带外的点的损失值。

SVR形式化表示：
min1/2||w||2+C∑l(f(xi)−yi)$min1/2||w|{|}^2+C\sum l(f(x_i)-y_i)$
其中第一项是正则化项，后面的损失函数是ϵ$ϵ$-不敏感损失：
if|z|<ϵ$if|z|<ϵ$，l = 0
otherwise$otherwise$, l = |z|−ϵ$|z|-ϵ$

引入松弛变量，可以重写为：
min1/2||w||2+C∑(ξi+ξ^i)$min1/2||w|{|}^2+C\sum ({\xi }_i+{\hat{\xi }}_i)$
s.t.f(xi)−yi≤ϵ+ξi$s.t.f(x_i)-y_i\le ϵ+{\xi }_i$
yi−f(xi)≤ϵ+ξ^i$y_i-f(x_i)\le ϵ+{\hat{\xi }}_i$
ξi≥0,i=0,...,n${\xi }_i\ge 0,i=0,...,n$
ξ^i≥0,i=0,...,n${\hat{\xi }}_i\ge 0,i=0,...,n$

引入拉格朗日乘子，得到原问题的对偶问题：

满足的KKT条件：

其中，α^i−αi≠0${\hat{\alpha }}_i-{\alpha }_i\ne 0$的样本为支持向量，它们必然落在间隔带之外， 落在间隔带内的样本α^i=0,αi=0${\hat{\alpha }}_i=0,{\alpha }_i=0$。SVR的支持向量仅是训练样本的一部分，即其解仍具有稀疏性。