机器学习初级篇14——理解SVM损失函数
机器学习初级篇14——理解SVM损失函数
SVM的损失函数是什么？怎么理解？
1、SVM损失函数图示
在学习支持向量机的过程中，我们知道其损失函数为合页损失函数。至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）：
横轴表示函数间隔，我们从两个方面来理解函数间隔：
1）正负
当样本被正确分类时，y(wx+b)>0；当样本被错误分类时，y(wx+b)<0。
2）大小
y(wx+b)的绝对值代表样本距离决策边界的远近程度。y(wx+b)的绝对值越大，表示样本距离决策边界越远。
因此，我们可以知道：
当y(wx+b)>0时，y(wx+b)的绝对值越大表示决策边界对样本的区分度越好。
当y(wx+b)<0时，y(wx+b)的绝对值越大表示决策边界对样本的区分度越差。
从图中我们可以看到，
1）0-1损失
当样本被正确分类时，损失为0；当样本被错误分类时，损失为1。
2）感知机损失函数
当样本被正确分类时，损失为0；当样本被错误分类时，损失为-y(wx+b)。
3）合页损失函数
当样本被正确分类且函数间隔大于1时，合页损失才是0，否则损失是1-y(wx+b)。
相比之下，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。
2、SVM损失函数
首先我们来看什么是合页损失函数（hinge loss function）：
SVM的损失函数就是合页损失函数加上正则化项：