机器学习 | 算法模型 —— 分类:SVM算法推导

目录

1.SVM - 硬间隔SVM - 模型定义 - 最大间隔分类器

2.SVM - 硬间隔SVM - 模型求解 - 对偶问题引出

3.SVM - 硬间隔SVM - 模型求解 - 对偶问题值KKT条件

4.SVM - 软间隔SVM - 模型定义

5.SVM - 约束优化问题 - 若对偶性证明

6.SVM - 约束优化问题 - 对偶关系的几何解释


  • 硬间隔:完全分类准确,其损失函数不存在;其损失值为0;只要找出两个异类正中间的那个平面;
  • 软间隔:允许一定量的样本分类错误;优化函数包括两个部分,一部分是点到平面的间隔距离,一部分是误分类的损失个数;C是惩罚系数,误分类个数在优化函数中的权重值;权重值越大,误分类的损失惩罚的越厉害。误分类的损失函数可分为hinge损失,指数损失,对率损失。而经常使用的或者说默认的是使用了损失函数为hinge损失的软间隔函数。

1.SVM - 硬间隔SVM - 模型定义 - 最大间隔分类器

机器学习 | 算法模型 —— 分类:SVM算法推导

2.SVM - 硬间隔SVM - 模型求解 - 对偶问题引出

机器学习 | 算法模型 —— 分类:SVM算法推导

机器学习 | 算法模型 —— 分类:SVM算法推导

机器学习 | 算法模型 —— 分类:SVM算法推导

 

3.SVM - 硬间隔SVM - 模型求解 - 对偶问题值KKT条件

机器学习 | 算法模型 —— 分类:SVM算法推导

4.SVM - 软间隔SVM - 模型定义

机器学习 | 算法模型 —— 分类:SVM算法推导

5.SVM - 约束优化问题 - 若对偶性证明

机器学习 | 算法模型 —— 分类:SVM算法推导

6.SVM - 约束优化问题 - 对偶关系的几何解释