您的位置: 首页 > 文章 > [机器学习]支持向量机3——引入松弛因子

[机器学习]支持向量机3——引入松弛因子

分类: 文章 • 2024-06-22 21:55:04

支持向量机1——间隔和支持向量

支持向量机2——对偶问题

支持向量机3——引入松弛因子

支持向量机4——SMO算法
很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这时可以允许出现一些误差。故引入松弛因子。
从下图中我们可以看到一些样本不能满足间隔大于1这个条件。
[机器学习]支持向量机3——引入松弛因子
我们令松弛因子： $ζ_{i} \geq 0$ ，使得目标函数加生松弛因子 $ζ_{i}$ 大于等于1。即 $y_{i} (w^{T} x_{i} + b) \geq 1 - ζ_{i}$ ，同时为松弛因子加入一个代价，以免松弛因子过分大。

min_{ζ, ω, b} \frac{1}{2} | | ω | |^{2} + C \sum_{i = 1}^{m} ζ_{i} s t . y_{i} (w^{T} x_{i} + b) \geq 1 - ζ_{i} i = 1, 2, . . . m ζ_{i} \geq 0

其中C为惩罚因子（C>0），C的值越大惩罚的力度越大，当C趋于无穷大，那么就是线性可分问题。
拉格朗日函数变成：

\begin{matrix} (3.1) & L (ω, b, ζ, α, r) = \frac{1}{2} | | ω | |^{2} + C \sum_{i = 1}^{m} ζ_{i} - \sum_{i = 1}^{m} α_{i} [y_{i} (w^{T} x_{i} + b) - 1 + ζ_{i}] - \sum_{i = 1}^{m} r_{i} ζ_{i} \end{matrix}

KKT条件：

$α_{i} \geq 0$
$y_{i} (ω^{T} x_{i} + b) - 1 + ζ_{i} \geq 0$
$α [y_{i} (ω^{T} x_{i} + b) - 1 + ζ_{i}] = 0$
$r_{i} \geq 0$
$r_{i} ζ_{I} = 0$

\begin{matrix} (3.2) & \begin{aligned} \frac{\partial L}{\partial ω} = 0 \Rightarrow ω = \sum_{i = 1}^{m} α_{i} y_{i} x_{i} \\ \frac{\partial L}{\partial ω} = 0 \Rightarrow \sum_{i = 1}^{m} α_{i} y_{i} = 0 \\ \frac{\partial L}{\partial ζ_{i}} = 0 \Rightarrow α_{i} = C - r_{i} \end{aligned} \end{matrix}

将 $(3.2)$ 得到的带入 $(3.1)$ 中，得出:

\begin{matrix} (3.3) & max_{α} W (α) = \sum_{i = 1}^{m} α_{i} - \frac{1}{2} \sum_{i = 1}^{m} \sum_{j = 1}^{m} α_{i} α_{j} y_{i} y_{j} x_{i} x_{j} s t . \sum_{i = 1}^{m} α_{i} y_{i} = 0 0 \leq α_{i} \leq C i = 1, 2, . . . m \end{matrix}

此时KKT条件：

\begin{matrix} (3.4) & \begin{aligned} α_{i} = 0 & \Rightarrow y_{i} (ω^{T} x_{i} + b) \geq 1 \\ α_{i} = C & \Rightarrow y_{i} (ω^{T} x_{i} + b) \leq 1 \\ 0 < α_{i} < C & \Rightarrow y_{i} (ω^{T} x_{i} + b) = 1 \end{aligned} \end{matrix}

[机器学习]支持向量机3——引入松弛因子

参考资料

1.https://blog.****.net/luoshixian099/article/details/51073885#comments