有约束条件的优化问题求解推导

以SVM优化问题为例,其回归函数(分类平面)为:有约束条件的优化问题求解推导

优化问题的目标函数为:

                                                                       有约束条件的优化问题求解推导

SVM中的分类问题和预测问题的区别在于约束条件的不同。

在分类问题中,约束条件为:有约束条件的优化问题求解推导;而在预测问题中,约束条件为(以Vapnik 有约束条件的优化问题求解推导不敏感损失函数为例):

                                                                              有约束条件的优化问题求解推导

下面附上利用拉格朗日对偶方程求解两种约束条件对应的优化问题的推导过程。

对于二分类过程,拉格朗日对偶方程:

                        有约束条件的优化问题求解推导

其推导过程:有约束条件的优化问题求解推导

预测问题的推导过程:有约束条件的优化问题求解推导