机器学习(四)监督学习---拉格朗日乘子法

        Q1: 对于一个有 n 个变量与 k 个约束条件的最优化问题转换为一个有 n + k 个变量的方程组的极值问题，其变量不受任何约束，这样如何解决？
 

        拉格朗日乘子法 (Lagrange Multiplier Method): 用于解决约束优化问题，是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。

                                
解析上式：

• 当 g_i(x)＞0，即不满足约束条件时，由于内层取max，因此 $\alpha _{i}=\infty \ \Rightarrow \ \alpha _{i}g_{i}(x)=\infty$αi​=∞ ⇒ αi​gi​(x)=∞
• 当 g_i(x) ≤ 0，即满足约束条件时，由于内层取max，因此 $\alpha _{i}=0\ \Rightarrow \ \alpha _{i}g_{i}(x)=0$αi​=0 ⇒ αi​gi​(x)=0
• 当 h_j(x) ≠ 0，即不满足约束条件时，由于内层取max，因此 $\beta _{j}=sign(h_{j}(x))\cdot \infty \ \Rightarrow\ \beta _{j}h_{j}(x)=\infty$βj​=sign(hj​(x))⋅∞ ⇒ βj​hj​(x)=∞
• 当 h_j(x) = 0，即满足约束条件时，由于内层取max，因此 $\forall\ \beta _{j}\Rightarrow\ \beta _{j}h_{j}(x)=0$∀ βj​⇒ βj​hj​(x)=0

        ※ 满足约束条件则是取0，不满足则是取 ∞，因此必须满足下式才有意义：
                                

对偶问题

 
作用：原问题的 关于x 的最小化 转化为了 对偶问题关于α、β的最大化。
                  

KKT条件