拉格朗日乘子法和KKT条件
凸优化简介：
凸集的定义：欧式空间中，对于集合中的任意两点的连线，连线上任意一点都在集合中，我们就说这个集合是凸集。
凸函数定义：对于任意属于[0,1]的θ和任意属于凸集的两点x, y，有f( θx + (1-θ)y ) <= θ * f(x) + (1-θ) * f(y)，几何上的直观理解就是两点连线上某点的函数值，大于等于两点之间某点的函数值。凸函数的任一局部极小点也是全局极小点。
半正定矩阵的定义：特征值大于等于0的实对称矩阵。
半正定矩阵的充要条件：行列式（n阶顺序主子式）等于0，行列式的i阶顺序主子式>=0，i从1到n-1
凸函数一阶充要条件：意思是说 f 可微 ，f 是凸函数当且仅当其切线在某点的取值小于函数本身在该点的取值，一阶充要条件的图形如下：
凸函数的充要条件：如果f(x)在开凸集S上具有二阶连续偏导数，且f(x)的海塞矩阵（二阶偏导的矩阵）在S上处处半正定，则f(x)为S上的凸函数。
海塞矩阵（简单了解即可，或者直接下面看例子）：
拉格朗日乘子法与KKT条件：
后面参考下面博客。（因为****打公式太麻烦了，等以后有空的时候我在详细整理）