图解机器学习-l2约束的最小二乘学习法-matlab源码

约束条件  L2约束的最小二乘学习法是以参数空间的圆点为圆心，在一定半径范围的圆内进行求解。

拉格朗日对偶问题：

原始问题：在约束条件    下求  

引入拉格朗日函数：

             称为拉格朗日乘子

约束条件下的最大值：

原问题的等价描述为：在约束条件下求

设计对偶函数为了使问题变为等价无约束，然后用KKT求解原始问题最小值即对偶问题最大值

取最大化使其与原始问题临界值对接

因为有

即d*p*  所以d*的最大值解 就是p*的最小值解，也就是原始问题的最优解

求解d*的时候使用如下的KKT方法(Karush-Kuhn-Tucker)

总结：原始约束条件问题通过对偶问题去掉约束，根据对偶问题的最大值是原始问题的最小值这一对接性质，利用KKT求对偶问题的最大解，也即带有约束条件的原始问题的最小解。

matlab源代码及其解释：