支持向量机学习笔记（三）：非线性支持向量机与SMO算法

非线性问题

在之前学了线性支持向量机，通过训练集学习到分离超平面$wx+b=0$wx+b=0，但是有时候分类问题不是线性的，也就是我们不能直接得到分离超平面。看下面两个图:

左边的图，只能使用一个椭圆（曲面）来对正例（黑点表示的实例）和负例（x表示的实例）来进行划分，而无法使用超平面$wx+b=0$wx+b=0来进行划分。对于这样的非线性问题，显然线性支持向量机无法求解，但是可以将左边图中的实例，按照某种映射关系映射到右图中，此时就可以使用线性支持向量机了。也就是说使用线性分类方法去解决非线性问题可以使用下面两个步骤：

1. 使用一个函数，将原空间中的数据变映射到新空间（上图中左图中实例映射到右图）;
2. 在新空间里用线性分类学习方法学习到分类模型（这里就是使用线性支持向量机学习到超平面$wx+b=0$wx+b=0）。

核技法用到支持向量机中的思想：使用一个非线性变换将输入空间映射到特征空间，从而使得输入空间的超曲面对应于特征空间的超平面。

说到这就正式给出核函数的定义：

核函数：
令 $\chi$χ为输入空间，$H$H为特征空间，如果存在一个 $\chi$χ 到$H$H的映射

$\phi(x):\chi->H$ϕ(x):χ−>H

使得对于所有的输入 $x,z\in\chi$x,z∈χ满足条件

$K(x,z)=\phi(x)\cdot\phi(z)$K(x,z)=ϕ(x)⋅ϕ(z)

则称$K(x,z)$K(x,z)为核函数，$\phi(x)$ϕ(x)为映射空间，$\phi(x)\cdot\phi(z)$ϕ(x)⋅ϕ(z)表示两者的内积。

核技法在SVM中的使用

现在将核技法使用到非线性分类问题中，非线性支持向量机模型（凸二次规划对偶模型）如下：

$\max\limits_{\alpha,\beta}-\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_j&lt;x_i,x_j&gt;+\sum\limits_{i=1}^{N}\alpha_i$α,βmax​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​<xi​,xj​>+i=1∑N​αi​

$s.t.\qquad \sum\limits_{i=1}^{N}\alpha_iy_i=0\qquad (5)$s.t.i=1∑N​αi​yi​=0(5)

$\qquad \qquad0\leq\alpha_i\leq C$0≤αi​≤C

求得的分离超平面如下：

$\sum\limits_{i=1}^{N}\alpha^*_iy_i&lt;x,x_i&gt;+b^*=0$i=1∑N​αi∗​yi​<x,xi​>+b∗=0

其中$&lt;x_i,x_j&gt;$<xi​,xj​>表示两个向量的内积。
不管是对偶模型还是求得的结果都是输入向量的内积，将其替换成核函数得到目标函数与分离超平面，得到：

$\max\limits_{\alpha,\beta}-\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_jK(x_i,x_j)+\sum\limits_{i=1}^{N}\alpha_i$α,βmax​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​K(xi​,xj​)+i=1∑N​αi​

$\sum\limits_{i=1}^{N}\alpha^*_iy_iK(x_i,x_j)+b^*=0$i=1∑N​αi∗​yi​K(xi​,xj​)+b∗=0

其中$K(x_i,x_j)=\phi(x_i)\cdot\phi(x_j)$K(xi​,xj​)=ϕ(xi​)⋅ϕ(xj​)也就是说，将输入空间中的向量$x_i$xi​映射成特征空间的$\phi(x_i)$ϕ(xi​)（将输入空间向量内积转换成特征空间向量内积）转换就得到上面的右图中的点了，此时就可以使用线性支持向量机得到分离超平面，而关于核函数的选取得看具体的情况，后面会介绍常用的核函数。

正定核

上面介绍了核函数$K(x,z)$K(x,z)，而正定核也就是核函数。那么$K(x,z)$K(x,z)满足什么条件才能作为正定核呢，下面不加证明的给出正定核的充要条件。

设$K:\chi ×\chi-&gt;R$K:χ×χ−>R是对称函数（$K(x,z)中两个变量都属于同样的输入空间\chi$K(x,z)中两个变量都属于同样的输入空间χ），那么$K(x,z)$K(x,z) 是正定核的充要条件是，对于任意的 $x_i\in \chi,i=1,2,...,n$xi​∈χ,i=1,2,...,n,$K(x,z)$K(x,z)对应的矩阵：

$K=[K(x_i,x_j)]_{n\times n}$K=[K(xi​,xj​)]n×n​

是半正定矩阵。

常用核函数

1、多项式核函数

$K(x,z)=(x\cdot z+1)^p$K(x,z)=(x⋅z+1)p

对应的支持向量机为p次多项式分类器，此时，分类超平面为：
$\sum\limits_{i=1}^{N}\alpha^*_iy_i(x_i\cdot x+1)^p+b^*=0$i=1∑N​αi∗​yi​(xi​⋅x+1)p+b∗=0

2、高斯核函数

$K(x,z)=exp(-\frac{||x-z||^2}{2\sigma^2})$K(x,z)=exp(−2σ2∣∣x−z∣∣2​)

对应的支持向量机为高斯径向基函数分类器，此时，分类超平面为：
$\sum\limits_{i=1}^{N}\alpha^*_iy_iexp(-\frac{||x_i-x||^2}{2\sigma^2})+b^*=0$i=1∑N​αi∗​yi​exp(−2σ2∣∣xi​−x∣∣2​)+b∗=0

序列最小最优化算法

到这里，线性可分支持向量机，线性支持向量机，非线性支持向量机已经学完了。关于如何求解各自的对偶问题还没有给出，每次都是假设$\alpha=(\alpha_1,\alpha_2,...,\alpha_N)^T$α=(α1​,α2​,...,αN​)T 已经求出，那么到底怎么求则是下面要介绍的序列最小最优化算法 （SMO）。

介绍SMO算法之前先介绍坐标上升法：

假设要求解无约束条件的函数参数如下：

$arg\max \limits_{\alpha}W(\alpha_1,\alpha_2,...,\alpha_m)$argαmax​W(α1​,α2​,...,αm​)

坐标上升法的思路是，选取某一个$\alpha_i$αi​，对其他的$\alpha$α进行固定，修改$\alpha_i$αi​的值，使函数$W$W的值达到最大，此时选取下一个$\alpha$α的值，而对其他的所有$\alpha$α值进行固定，如此循环下去直到收敛，写成伪代码如下：

$循环直到收敛：\{$循环直到收敛：{
$\qquad for\qquad i=1-&gt;m\{$fori=1−>m{
$\qquad \qquad \alpha_i=arg\max \limits_{\alpha}W(\alpha_1,\alpha_2,...,\overline{\alpha},\alpha_i,...,\alpha_m)$αi​=argαmax​W(α1​,α2​,...,α,αi​,...,αm​)
$\qquad \}$}
$\}$}

SMO算法和左边上升法是很类似的，将其用在解SVM中对偶模型中是这样做的，由于存在约束条件$\sum\limits_{i=1}^{N}\alpha_iy_i=0$i=1∑N​αi​yi​=0，所以每次选两个变量$\alpha_i,\alpha_j$αi​,αj​，使得两个变量变化幅度一样（一个增加多少另一个就减少多少）从而使得满足约束条件。下面给出较具体的介绍：

方便起见，假设选的两个参数是$\alpha_1,\alpha_2$α1​,α2​，而其他变量 $\alpha_3,\alpha_3,...,\alpha_N$α3​,α3​,...,αN​进行固定，也就是说只要不含$\alpha_1,\alpha_2$α1​,α2​的项都看做常数了。

对于约束条件$\sum\limits_{i=1}^{N}\alpha_iy_i=0$i=1∑N​αi​yi​=0，转换一下得到$\alpha_1y_1+\alpha_2y_2=-\sum\limits_{i=3}^{N}\alpha_iy_i$α1​y1​+α2​y2​=−i=3∑N​αi​yi​，将$\sum\limits_{i=3}^{N}\alpha_iy_i$i=3∑N​αi​yi​看做常数$\zeta$ζ，那么就有$\alpha_1y_1+\alpha_2y_2=\zeta$α1​y1​+α2​y2​=ζ,画在坐标系中得到下面的图

$\alpha_1y_1+\alpha_2y_2=\zeta$α1​y1​+α2​y2​=ζ
$=&gt;\alpha_1=\frac{\zeta-\alpha_2y_2}{y_1}$=>α1​=y1​ζ−α2​y2​​

用$\alpha_2$α2​来表示$\alpha_1$α1​，这样的话就只有一个变量$\alpha_2$α2​了。
对偶问题的目标函数为：
$\max\limits_{\alpha,\beta}-\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_jK(x_i,x_j)+\sum\limits_{i=1}^{N}\alpha_i$α,βmax​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​K(xi​,xj​)+i=1∑N​αi​

记$W(\alpha_1,\alpha_2,...,\alpha_N)=-\frac{1}{2}\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_i\alpha_jy_iy_jK(x_i,x_j)+\sum\limits_{i=1}^{N}\alpha_i$W(α1​,α2​,...,αN​)=−21​i=1∑N​j=1∑N​αi​αj​yi​yj​K(xi​,xj​)+i=1∑N​αi​

将$\alpha_3,...,\alpha_N$α3​,...,αN​固定，而$\alpha_1$α1​用$\alpha_2$α2​来表示，带入到$W(\alpha_1,\alpha_2,...,\alpha_N)$W(α1​,α2​,...,αN​)，那么得到的肯定就是一个关于$\alpha_2$α2​的一元二次函数$W(\alpha_2)=a\alpha_2^2+b\alpha_2+c$W(α2​)=aα22​+bα2​+c（具体的可以自行计算），那么现在要做的就是求出$W(\alpha_2)$W(α2​)最大值所对应的$\alpha_2$α2​了，如果不考虑约束条件那么结果就是$W(\alpha_2)$W(α2​)对应的抛物线的顶点了，但是，这个函数是受到了约束条件约束的，也就是上面两个图，假如就是左图，那么需要将这条抛物线和上面的左图画在一起，如下：

显然，1和3的情况是不满足约束条件的，因为最优值的$\alpha_2$α2​的值一个是小于了$\alpha_2$α2​的最小值，另一个是大于了$\alpha_2$α2​的最大值，需要取在$\alpha_2$α2​范围内$W(\alpha_2)$W(α2​)是最优值。具体的就直接摘抄《统计学习方法》了，具体的细节会作解释。

剪辑指的是考虑约束条件（$\alpha_2$α2​取值范围）的情况。

为了理解方便就按照上面的两个图来解释：
对于$y_1\neq y_2$y1​̸​=y2​时候的边界问题：
（1）、当直线位于右下角的时候，下界$L=\alpha_2^{old}-\alpha_1^{old}$L=α2old​−α1old​，$\alpha_2^{old}$α2old​是直线与下方的横纵的交点，而$\alpha_1^{old}=0$α1old​=0；而上界$H=C$H=C。
（2）、当直线位于左上角的时候，下界$L=0$L=0，而上界$H=C+\alpha_2^{old}-\alpha_1^{old}$H=C+α2old​−α1old​,注意$\alpha_2^{old}-\alpha_1^{old}&lt;0$α2old​−α1old​<0，往左下方延长该执行，得到与下方横纵交点的值。

关于$y_1=y_2$y1​=y2​也分为左下方和右上方来讨论，具体的就详述了。

最后计算总结如下：