模型评价指标

机器学习模型中常见的是分类问题,分类模型的评价指标主要有:
(1)精确率
(2)召回率
(3)F值
(4)AUC值(ROC曲线)
分类问题可划分成二分类和多分类问题,其中二分类最为常见,多分类问题大都也是转化成二分类问题求解,因此本文主要基于二分类模型进行模型评价指标的分析。
1)给定标记好的模型训练数据,经分类模型输出的结果为混淆矩阵,具体如下:
模型评价指标
Precision : P = TP/( TP+FP)
Recall : R = TP/( TP+FN)
F = (1+a)P*R/(a2p + R)
当a=1时,F1 = 2*P*R/(P+R)
ROC曲线
纵坐标-TPR: TPR = TP/( TP+FN), 值域[0,1]
横坐标-FPR : FPR = FP/(FP+TN), 值域[0,1]
AUC值等于ROC曲线下方的面积,值域为[0,1]
模型评价指标
ROC曲线是由多组(FPR,TPR)数值拟合形成的曲线,其中(FPR,TPR)代表模型在不同阈值下基于混淆矩阵统计得到的结果。在分类模型中,模型输出的初始结果是概率值,然后指定具体的阈值后输出类别标签(正类or 负类)。因此,ROC曲线能够弥补阈值选取问题导致分类器的衡量偏差(精确率和召回率均在指定的阈值下统计出的结果),能够更好的衡量模型的分类性能,AUC值越高,证明模型的分类能力越好。(需考虑正负样本不均衡产生的问题)

参考文档:
https://www.zhihu.com/question/30643044