AI-机器学习(2)-SVM(2)-对偶
对偶, 我们要解决什么问题呢?约束条件下目标函数如何求最优化。比如两条线的拟合,比如分类。
这跟对偶啥关系呢?
对偶就是 min(max..)==max(min..) 这是强对偶,min(max..)>= max(min..)这是弱对偶。
最优不就是max 或者min,有时求min方便,有时求max方便,于是用数学方便做了转换。
以上就是通俗的说法。
下面是数学语言的描述。
1.对偶原问题表达式
2. 弱对偶和强对偶的表达式
3. 强对偶实现的前提是KKT条件,KKT条件的表达式
4. 求解SVM优化问题步骤
4.1对主问题构造拉格朗日函数
4.2求W B的极小
4.2.1对w求偏导
4.2.2 对b求偏导
4.2.3 得到结果
4.3求极大
4.4求
4.5 由 求w.
4.6.由w求b
4.7得最终结果
4.1对主问题构造拉格朗日函数
4.2求W B的极小
4.2.1对w求偏导
4.2.2 对b求偏导
4.2.3 得到结果
4.3求极大
4.4求
4.5 由 求w.
4.6.由w求b
4.7得最终结果