通俗直观地解释为什么svm支持向量机可以假设离判决面最近的点在wx+b=±1上
在学习svm的过程中,很多人可能对其推导的第一步假设就开始出现疑惑,
即各种资料都是假设正平面上距离判决线最近的点在wx+b=1上,而负平面上距离判决线最近的点在wx+b=-1上
然后在这个假设的基础之上开始进行推导,得出支持向量机最大边缘应该为:2/sqrt(wT*w)
之后,将边缘宽度(margin width)最大化。
到这里最大的疑惑就是假设wx+b=±1的依据是什么,基本上所有的资料都没有点出这一点,导致了疑惑。
假设wx+b±1的依据是什么。其实这个问题并不是什么大问题,只是一时没想到而已。
对于这个问题,我认为从第三维的角度上会好理解一点。如果我们现在有一个判决函数d(x)=wx+b
将x1,x2两维看成两个自变量,带入函数之后,得到穿过判决线的一个平面
我们的目标点为图内圆的中心。其中,深绿色线的长度为我们关注的边缘宽度(margin width),红色的线为判决线,浅绿色线的长度为d(x)=wx+b,也就是点p带入判决函数之后的值,而这个值是不确定的,并不等于1。那么为什么可以假设wx+b=1而不会产生影响呢?
我们可以看到,在不改变红色线的位置 和 边缘的宽度(margin width)的情况下,可以将产生的平面以判决线为轴进行旋转:
旋转平面并没有改变判决线的位置和边缘宽度的大小,只改变了浅绿色线的长度,也就是x带入判决函数的函数值,因此wx+b的值可以随意改变而不影响所求的结果,为了方便,通常将其设置为1。
在这个旋转过程中,我们改变了什么呢?我们改变的是w和b,但是关键点在于我们是按比例改变的,比如将d(x)的值变成一半,那么w‘=w/2,b'=b/2。在这个过程中,w的方向并没有发生改变,所以不会影响结果
通过以上分析,可以得出结论:给定一个判决面和一个点,这个点到判决面的距离(深绿色线长度)和这个点带入判决面得到的函数值(浅绿色线长度)无关。
因此,我们可以假设距离判决面最近的点为wx+b=(±)1