有约束条件的优化问题求解推导
以SVM优化问题为例,其回归函数(分类平面)为:
优化问题的目标函数为:
SVM中的分类问题和预测问题的区别在于约束条件的不同。
在分类问题中,约束条件为:;而在预测问题中,约束条件为(以Vapnik
不敏感损失函数为例):
下面附上利用拉格朗日对偶方程求解两种约束条件对应的优化问题的推导过程。
对于二分类过程,拉格朗日对偶方程:
其推导过程:
预测问题的推导过程: