1 原始问题

拉格朗日对偶性

再次注意拉格朗日对偶性是一个关于的函数，经过我们优化（不要管什么方法），就是确定的值使得取得最大值（此过程中把看做常量），确定了的值，就可以得到的最大值，因为已经确定，显然最大值就是只和有关的函数。

拉格朗日对偶性

2 对偶问题

拉格朗日对偶性

注意等式右边是关于拉格朗日对偶性的函数的最小化，确定以后，最小值就只与有关，所以是一个关于的函数.。

拉格朗日对偶性

形式上可以看出很对称，只不过原始问题是先固定拉格朗日对偶性中的，优化出参数，再优化最优，而对偶问题是先固定，优化出最优，然后再确定参数。

拉格朗日对偶性

也就是说原始问题的最优值不小于对偶问题的最优值，但是我们要通过对偶问题来求解原始问题，就必须使得原始问题的最优值与对偶问题的最优值相等，于是可以得出下面的推论：

拉格朗日对偶性

仿射函数：（即由一阶多项式构成的函数，f(x)=Ax + b, A是矩阵，x，b是向量）

所以，当原始问题和对偶问题的最优值相等：拉格朗日对偶性时，可以用求解对偶问题来求解原始问题（当然是对偶问题求解比直接求解原始问题简单的情况下），但是到底满足什么样的条件才能使的呢，这就是下面要阐述的 KKT 条件：

拉格朗日对偶性

关于KKT 条件的理解：前面三个条件是由解析函数的知识，对于各个变量的偏导数为0（这就解释了一开始为什么假设三个函数连续可微，如果不连续可微的话，这里的偏导数存不存在就不能保证），后面四个条件就是原始问题的约束条件以及拉格朗日乘子需要满足的约束。

特别注意当拉格朗日对偶性时，由KKT对偶互补条件可知：，这个知识点会在 SVM 的推导中用到。

某些条件下，把原始的约束问题通过拉格朗日函数转化为无约束问题，如果原始问题求解棘手，在满足KKT的条件下用求解对偶问题来代替求解原始问题，使得问题求解更加容易。