人工智能与大数据——支持向量积SVM

一,支持向量积在分类中的作用

1,定义:找到一个超平面,使其产生一个将数据分类的最大间距

人工智能与大数据——支持向量积SVM

2,什么是支持向量

每一个点为一个向量,支持分界线的点为支持向量。

人工智能与大数据——支持向量积SVM

3,支持向量机与逻辑回归的损失函数

(1)

支持向量机为绿色的Hinge loss     SVM

逻辑回归为红色的Logistic loss  

这个图代表什么意思?x轴和y轴各代表什么意思?

人工智能与大数据——支持向量积SVM

(2)

Logistic  loss上升得快,也就是说对于异常值会有更大的惩罚,导致逻辑回归对异常点的容忍程度相对较低

人工智能与大数据——支持向量积SVM

(3)

不管哪一个损失函数,即使分类对了,在边界附近的值也会受到惩罚,这导致二者都会要求能够更好的分类,从而使各个值能够近可能的远离边界。

人工智能与大数据——支持向量积SVM

(4)

如果一个值被确信地分类,也就是它离得边界很远,Logistic loss也不会变为零。这导致逻辑回归进一步要求所有点都能够进一步远离边界。

 

如果一个值被比较好的分类,也就是它离得边界比较远,Hinge loss立即变为零。这导致支持向量机并不在乎分类正确的较远的点到底在哪,他只在意边界附近的点。

人工智能与大数据——支持向量积SVM

 

注意:

逻辑回归尝试将所有点都远离边界

支持向量机尝试将支持向量推得更开

 

图片分析:

人工智能与大数据——支持向量积SVM

逻辑回归想要的是不同种类能分开就全部分开,就算中间隔一张纸也算分开

支持向量机想要的是不同种类离得越远越好,最好是一堵厚墙,即使牺牲一些分类到对方得也无所谓。