precision,recall,mAP等几种评价指标
1.图像分类准确率Accuracy
假设有测试样本100张图像,其中有90张预测对了类别,则准确率为:
Accuracy = 90/100*100% = 90%
2.Accuracy的缺点
假设测试样本100张,其中正例90张,负例10张,我们预测(瞎猜)所有的样本都是正例,那么可以得到准确率为:90%。(纳尼?瞎猜都能这么高?)可见这么高的准确率是没什么意义的。
总结:样本的不均衡是会影响模型的性能的。
3.什么是precision、recall以及F1指标、ROC曲线
这里引入一张表格,如下所示:
注:这里可以这样记忆
TP:P表示你预测的Positive,T(True)表示你预测正确,TP表示你把正样本预测为正样本
FP:P表示你预测的Positive,F(False)表示你预测错误,FP表示你把负样本预测为正样本
TN:N表示你预测的Negative,T(True)表示你预测正确,TN表示你把负样本预测为负样本
FN:N表示你预测的Negative,F(False)表示你预测错误,FP表示你把正样本预测为负样本
precision = TP / (TP + FP)
precision表示精确率,针对的是你所预测的正样本中,预测正确的正样本(即把正样本预测为正样本)占的比例。精确率越高,表示找的越准。
recall = TP / (TP + FN)
recall表示召回率, 针对的是所有的正样本中,预测正确的正样本(即把正样本预测为正样本)占的比例。召回率越高,表示找的越全。
F1 = 2 * precision * recall / (precision + recall)
ROC曲线:
ROC曲线是以fp rate为横坐标,tp rate为纵坐标画的曲线,如下图所示:
注:该图来自博文 https://blog.****.net/u013063099/article/details/80964865
其中:
fp rate = FP / (FP + TN),表示假阳率。指的是你预测为正实际为负的样本占所有负样本的比例。
tp rate = TP / (TP + FN),表示真阳率。指的是你预测为正实际也为正的样本占所有正样本的比例。
AUC (Area Under Curve)
AUC表示的是ROC曲线下的面积。
4.mAP的计算
mAP(mean Average Precision),即平均精确率均值。就是预测出每一个类别的精确率,再相加起来除以总的类别数。
举个例子说明:
对于某个类别,我们预测出有20个样本属于该类别,每个样本对应一个confidence,其中有6个样本是预测正确的。我们按照confidence的大小对齐进行排序,如下表所示:
注:下表数据参考网上版本的mAP举例说明。
因为一共有6个样本的真实标签为1,因此我们可以得到6个recall的值,分别为1/6,2/6,3/6,4/6,5/6,6/6,其中每个recall的值可以对应多个precision值。
计算出每个recall对应的最大precision,分别为1/1,2/2,3/6,4/7,5/11,6/16,将它们相加并求平均,则可以得到该类别的AP。如下表所示。
求出每个类别的AP,再相加求平均,即可得到最后的mAP。
结束。