约束优化问题(拉格朗日乘子法求解)

无约束优化问题

对于x的函数f(x)，求解函数最小值：

这种问题的求解很简单利用高中学过的知识就可以完成。

等式约束优化问题

对于x的函数f(x)，求解函数最小值，同时满足条件h(x)=0：

这种问题可以通过构造拉格朗日函数来求解。

例如：

最小值是上述方程组解的一个。

在几何上表示，只有当f(x)的等高线与目标函数的曲线相切的时候，才可能得到可行解.

不等式约束优化问题

对于x的函数f(x)，求解函数最小值，同时满足条件g(x)<=0：

约束区域不包含原有可行解的情况：

令：

示意图：

 

此时得到的最优解会落在约束区域的边界上，即g(x)=0;lamda!=0,这时可行解应尽量靠近无约束时的解，且此时约束函数的梯度方向与目标函数的负梯度方向应相同：

约束区域包含原有可行解的情况：

令：

示意图：

 

此时约束条件不起作用，等同于lamda=0，消去约束条件。

以上两种情况都满足条件：

如果不满足KKT条件，则拉格朗日函数趋近于正无穷，最优化问题无解。

综合上面的东西，可以给出更为一般性的不等式约束优化问题，对比与下面给出的对偶问题，我们称下面的为原始问题。

依据KKT条件，可得出：

转化为对偶问题求解

 

拉格朗日对偶性

对偶问题性质：

1.对偶问题的对偶是原问题；

2.无论原始问题是否是凸的，对偶问题都是凸优化问题；

3.对偶问题可以给出原始问题一个下界；

4.当满足一定条件时，原始问题与对偶问题的解是完全等价的；

所以利用对偶性可以将原始的非凸优化问题转化为凸优化问题求解。 

原始问题的对偶问题为：

参考http://www.cnblogs.com/ooon/p/5721119.html