SVM涉及距离，和KNN一样，要做数据标准化处理。

1-什么是SVM

Hard Margin SVM：前提，样本是线性可分的

2-SVM背后的最优化问题

SVM：最大化margin，其中margin=2d，即SVM要最大化d。

3-Soft Margin SVM 和SVM的正则化

下面两幅图，均是Hard Margin SVM，第一个可能泛化不好，第二个线性不可分，Hard Margin SVM无法得到结果，无法应用。

Soft Margin SVM

其思想，允许模型犯一定的错误，Hard不允许有样本存在在这两条线之间，soft可以。其中不是一个固定的值，而是每个样本都有自己的，例我们有m个样本，则也有m个数值，即每一个数据点都可以有一个容错空间。

4-核函数

之前的优化目标可以利用一系列数学手段转换成如下的式子，可以看出有样本之间的点积，按之前的特征工程，若想要多项式特征，可先将样本的特征转变为多项式特征，然后再点积。

核函数的想法是，不用对样本的特征进行转变，而是直接找到一个函数，该函数对原样本的结果与先对原样本特征进行处理再点积的结果一致。

举个????，例如我们想要二阶特征，即我们想要特征，只需要这样的核函数

多项式核函数：

线性核函数：，即对样本特征不进行任何处理，即使用原特征。

5-高斯核函数(RBF核）

核函数K(x,y)就是重新定义x和y的点积。

高斯核函数：，高斯函数，高斯核函数与高斯函数形似。

高斯核函数的本质是将一个样本点映射到一个无穷维的特征空间。高斯核对每一个数据点都是landmark，把m*n的数据映射成了m*m的数据。

高斯核：????举个????直观理解一下，原先是，我们这边固定一下y，即y不取样本点而取固定点，这边固定点是，这两个特殊点通常称为landmark（地标点）。若有两个地标，高斯核函数就将其升为二维样本点，其取值如????中间的图。高斯核对每一个数据点都是landmark，把m*n的数据映射成了m*m的数据。

6-RBF核函数中的gamma

高斯核函数与高斯函数形似，他们之间参数也有点关系。高斯函数中代表均值，代表标准差，其中越大，方差越大，函数分布越宽；其中越小，方差越小，函数分布越窄；然后高斯函数中的相当于高斯核函数中的，故越大，方差越小，函数分布越窄；其中越小，方差越大，函数分布越宽。

可用来调节模型复杂度，越大，模型越复杂(越大，分布越窄，与该样本x相邻的样本y影响更大，在该样本x的附近形成小钟形)，越小，模型越简单(越小，分布越宽，与该样本x相邻的样本y影响相对偏小，考虑了附近更多的样本y，在该样本x的附近形成钟形较大)。

由小到大，

参考：https://coding.imooc.com/learn/list/169.html