机器学习基础——分类问题评价指标

1 .准确率（A），查准率(P)，查全率(R)

设正样本总数 T = TP + FN, 负样本总数 F = FP + TN

定义各种指标如下：

 

 

2 .P-R曲线

原理：很多二分类器的输出是一个概率实值，我们将这个概率值与一个阈值进行比较，若大于阈值则分为正类，否则为反类。实际上，我们可以根据这个实值大小将测试样本排序，最可能是正例的样本排在最前面，最不可能是正例的样本排在最后面。分类的决策过程就相当于在这个排序中选取“截断点”，选取位置不同，最终的分类决策决策结果不同。

• 如果我们更重视查准率，截断点位置越靠前
• 如果我们更重视查全率，截断点位置越靠后

我们改变截断点的位置，计算P值和R值，就得到了P-R曲线。

注：现实中的P-R曲线是非单调、不平滑的，在很多局部有上下波动。

• 如果一个学习器的P-R曲线被另一个学习器的曲线完全包住，则可以断言后者性能优于前者，如B优于C.
• 如果两个学习器的曲线相较，可以通过平衡点的来度量性能，它是“查准率=查全率”时的取值。如A优于B.

 

2 .ROC 曲线与AUC

定义ROC曲线的横纵坐标为：

假正例率：FPR = FP / (FP + TN) = FP / F
真正例率：TPR = TP / (TP + FN) = TP / T

与P-R曲线类似，我们根据学习期的预测结果对样例进行排序，按顺序逐个把样本作为正例进行预测，计算出FPR和TPR，分别以它们为横纵坐标，画出ROC曲线如下图：

(0,1): FN = 0, FP = 0, 表示所有样本都正确分类，这是一个完美的分类器；
(1,0): TN = 0, TP = 0, 表示所有样本都分类错误，这是一个最糟糕的分类器；
(0,0): FP = 0, TP = 0, 表示所有样本都分类为负
(1,1): TN = 0, FN = 0, 表示所有样本都分类为正

• ROC曲线越靠近左上角，该分类器的性能越好。
• 对角线表示一个随机猜测分类器。
• 若一个学习器的ROC曲线被另一个学习器的曲线完全包住，则可判断后者性能优于前者。
• 若两个学习器的ROC曲线相交，则可以判断ROC曲线下的面积，即AUC.

3 .ROC 曲线绘制

4.ROC 与 PR的比较

• 当正负样本不平衡时，PR曲线会出现较大变化，ROC曲线则能保持不变。所以此时PRC比ROC更有效地反应分类器的好坏。
• (a)(c)为ROC，(b)(d)为PR，(a)(b)样本比例1:1，(c)(d)为1:10