机器学习公式推导【Day3】排序损失loss

排序“损失”定义


(本文为个人学习总结笔记)

排序损失loss

形式化地看, AUC考虑的是样本预测的排序质量,因此它与排序误差有紧 密联系.给定 m+m^{+}个正例和mm^{-}个反例?令D+D^{+}DD^{-}分别表示正、反例集合, 则排序"损失" (loss)定义为:

rank=1m+mx+D+xD(I(f(x+)<f(x))+12I(f(x+)=f(x)))\ell_{\text {rank}}=\frac{1}{m^{+} m^{-}} \sum_{x^{+} \in D^{+}} \sum_{x^{-} \in D^{-}}\left(\mathbb{I}\left(f\left(\boldsymbol{x}^{+}\right)<f\left(\boldsymbol{x}^{-}\right)\right)+\frac{1}{2} \mathbb{I}\left(f\left(\boldsymbol{x}^{+}\right)=f\left(\boldsymbol{x}^{-}\right)\right)\right)

lrankl_{\text {rank}}即为ROC曲线上的面积,如下:
机器学习公式推导【Day3】排序损失loss
机器学习公式推导【Day3】排序损失loss