＃基础 The Hinge Loss 定义为 E(z) = max(0,1-z)，在图中是蓝色的线所表示的那个，the Log Loss 为红色的线所表示，而 the Square Loss 是绿色 the misclassification error 用黑色表示。

Figure 1

Figure 1 来自 Chris Bishop's PRML book Hinge Loss 最常用在 SVM 中的最大化间隔分类中^[1]。对可能的输出 t = ±1 和分类器分数 y，预测值 y 的 hinge loss 定义如下：

看到 y 应当是分类器决策函数的“原始”输出，而不是最终的类标。例如，在线性的 SVM 中

可以看出当 t 和 y 有相同的符号时（意味着 y 预测出正确的分类）

此时的 hinge loss

但是如果它们的符号相反

则会根据 y 线性增加 one-sided error。

扩展

尽管 SVM 常常被采用 1 v all 或者 1v1 的方式扩展到 multiclass classification中 ^[2]，事实上还有一种“真正的”多类 Hinge loss 版本，由Crammer and Singer,^[3]提出，在^[4]中给出定义了。

在结构化推断structured prediction中，hinge loss 可以被更远地扩展到结构话输出空间上。采用下面的变体的间隔重形变技术的Structured SVMs ，其中 y 表示 SVM 的参数, φ 是联合特征函数，而 Δ 是 Hamming loss:

优化

Hinge loss 是一个凸函数, 所以很多常用的凸优化技术都可以使用。不过它是不可微的, 只是有subgradient

这个是跟线性 SVM 的模型参数 w 相关，其得分函数为

然而，因为 Hinge loss 的导数不是确定型的，

所以人们多采用平滑后的版本进行优化，例如二次平滑

在这篇文章中 Zhang 提出这样的想法。^[5] [Modified Huber loss] 是这个 loss function 的特例 ^[5]，其中

作者：Not_GOD 链接：http://www.jianshu.com/p/4a40f90f0d98 來源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。