在实际业务中，经常会出现AUC线上线下不一致的情况。例如，在离线评估中，AUC提升，但线上指标下降。这篇文章参考2013年KDD论文《Predictive Model Performance: Offline and Online Evaluations》，讨论AUC的特性。本文假设读者对二分类模型的评估有基本的了解。关于AUC的基础知识，可参考http。

优势

在工业场景中，AUC常常被用来评价模型的好坏。它的优势包括：

• 若使用ACC(Accuracy)作为评价指标，ACC的数值与阈值选择有直接的关系。AUC排除了阈值的干扰。
• AUC有物理含义，即0.5表示预测结果完全随机，1表示完美拟合。
• AUC可以评价线上和线下的效果。

缺点

正如硬币有两面一样，AUC也不是完美的。在实际工作中，经常会遇到离线AUC提升，而线上效果变差。针对此类问题，论文进行了详细的讨论。

AUC全局指标

AUC是一个全局指标，它无法反应模型的局部特性。相同AUC的两个模型，它的pCTR可能完全不同。在CTR在线预估中，一个well-fitted的模型需要使pCTR(预测CTR)与aCTR(真实CTR)尽可能的小。下图所示：

其中Avg pClick对应pCTR，Actual CTR对应aCTR，TPR、FPR对应ROC曲线的纵轴和横轴，Trapezoid对应梯形面积。从细微指标$\frac{pCTR}{aCTR}$aCTRpCTR​来看，下表的效果不尽人意。然而，若从AUC角度而言，实验者会得到完全相反的结论。造成这种现象的原因是：

• 存在大量的负样本其预测概率非常低，拉低了FPR，进而拉升了AUC。

由于AUC缺乏对预估细节的把控，因此需要从多个角度评价一个模型的好坏，例如$\frac{pCTR}{aCTR}$aCTRpCTR​、log-loss等。

从经验角度而言，提高采样频率能够提高模型AUC。因此，当一个模型采样频率较高时，它的AUC并不能真实反应预测效果。

online截断

在计算中，AUC将不加区分对所有ROC区域计算面积。然而，在CTR预估中，更加关心的是CTR较高的广告计划（CTR很低，依然曝光，会增加广告主成本）。因此，并不关心ROC曲线最右端部分。如下图所示

其中，上表与下表仅切换了倒数第一/二行的采样分布。从离线评估角度而言，上表的模型比下表的模型效果好。然而，上线后，由于阈值($threshold>0.006$threshold>0.006)的作用，两个模型的效果一样。

实验效果

下图是从论文中截取的，线下与线上效果的比较

其中Click yield(CY)是评估线上点击率的指标，读者可简单理解为线上点击率。由图可知，线下AUC提升，但线上指标均下降。为了分析原因，作者给出了Log-loss的统计

其中，横轴代表pCTR，纵轴代表log-loss，实线代表验证模型。根据pCTR的大小将横轴分成三块：$low$low、$median$median和$high$high。由图可知，在$low$low和$high$high两部分中，预测概率大于真实概率。对于$low$low部分，将会使大量低概率的广告曝光，进而引起整体CTR的下降。而$high$high部分的预测概率提升，并不一定会引起CTR提升。其中一种可能性是，模型预估概率已足够让广告胜出，再增加预测概率并不能胜出更多广告。

总结

AUC作为一个整体指标并不能反应模型的细微变化，评价一个模型的好坏需要从多个角度。