1.间隔最大化分类

分离超平面：，使用分离超平面将正负样本分割开，即求解为正的w,r

将经过缩放变形为，这样更容易处理

最优解

可以最充分的分离正负样本的解，即，如下图：

最优解对应的分类器即硬间隔支持向量机分类器

2.用于线性模型的支持向量机分类器

硬间隔&软间隔

硬间隔支持向量机分类器：适用于样本线性可分的情况

软间隔支持向量机分类器：适用于样本线性不可分的情况，即允许一定的误差

硬间隔支持向量机分类器目标函数

，约束条件

目标函数为二次函数，约束条件为线性函数，目标函数的求解问题变成了二次规划问题，可以使用拉格朗日对偶问题求解，只需要支持向量即可求解，开销很小，具体过程这里不再详细描述。

软间隔支持向量机分类器目标函数

当C=时，变为硬间隔支持向量机分类器

0/1损失函数无法求解，其替代损失函数可以使用Hinge损失（稀疏解）、指数损失和对率损失（无稀疏解，开销较大）

使用Hinge损失

目标函数：

引入：，其中是每个样本所对应的一个松弛变量，用来表征该样本不满足约束的程度，之后同样使用拉格朗日对偶问题求解即可。

2.用于非线性模型的支持向量机分类器

使用核映射的非线性模型

非线性输入空间——>使用非线性函数转换到高维特征空间——>使用线性支持向量机分类器在特征空间分类

最终得到的特征空间中的线性分类器对应于原始空间中的非线性分类器

核映射

特征空间比原始输入空间维度更高，则线性可分的可能性更大，理论上只要输入空间是有限维的，则一定存在高维空间使其线性可分，带来的结果是计算时间增加。

核函数的值与特征空间的维数无关，相互独立，这样学习时间就不依赖于维数，常用的核函数有多项式核函数和高斯核函数。

3.使用Ramp损失的鲁棒学习

Hinge损失：max{0,1-m}

Hinge损失没有上界，当m是较大的负值时，损失值会很大，因此支持向量机分类器容易受异常值的影响。

Ramp损失（有上界的损失函数）

min{1,max{0,1-m}}=

该函数为非凸函数，难求全局最优解，可以通过反复迭代的方法求最优解，具体过程不再详细介绍。