AI-机器学习(2)-SVM(2)-对偶

     对偶, 我们要解决什么问题呢?约束条件下目标函数如何求最优化。比如两条线的拟合,比如分类。

      这跟对偶啥关系呢?

       对偶就是 min(max..)==max(min..) 这是强对偶,min(max..)>= max(min..)这是弱对偶。

      最优不就是max 或者min,有时求min方便,有时求max方便,于是用数学方便做了转换。

     以上就是通俗的说法。

    下面是数学语言的描述。

1.对偶原问题表达式

2. 弱对偶和强对偶的表达式

3. 强对偶实现的前提是KKT条件,KKT条件的表达式

4. 求解SVM优化问题步骤

    4.1对主问题构造拉格朗日函数

    4.2求W B的极小

         4.2.1对w求偏导

         4.2.2 对b求偏导

        4.2.3 得到结果

   4.3求极大

   4.4求

  4.5 由  求w.

  4.6.由w求b

   4.7得最终结果

 

 

4.1对主问题构造拉格朗日函数

AI-机器学习(2)-SVM(2)-对偶

4.2求W B的极小

  4.2.1对w求偏导

  4.2.2 对b求偏导

 4.2.3 得到结果

            AI-机器学习(2)-SVM(2)-对偶

4.3求极大

           AI-机器学习(2)-SVM(2)-对偶

4.4求

             AI-机器学习(2)-SVM(2)-对偶

4.5 由  求w.

           AI-机器学习(2)-SVM(2)-对偶

4.6.由w求b

AI-机器学习(2)-SVM(2)-对偶

4.7得最终结果

AI-机器学习(2)-SVM(2)-对偶