深度学习评价指标
与目标识别不同,目标检测中不仅仅需要在一张图片中检测到是否含有某物体,还需要将该物体的位置找出来,所以在判定模型的好坏时,就有其标准--mAP
一、Mean Average Precision--mAP
(一)什么是mAP
平均精度均值(mAP)是预测目标位置以及类别的这一类算法的性能度量标准。mAP对于评估目标定位模型、目标检测模型以及实例分割模型非常有用。
在模型预测时,输出的bounding box是有很多的,但是大多数都是置信度很小的,我们zhix只需要输出置信度chao超过某个阈值的bounding box。
(二)mAP是怎么计算的
(1)准确率---precision
若yige一个待检测的物体为狗,我们将被正确识别的狗,即检测为狗实际也为狗,成为true positives。将被正确识别为猫实际也为猫,成为true negatives。 被错误识别为狗的猫成为False positive, 被错误识别为猫的狗成为False negatives。
则precision的计算为:
准确率可以反映一个类别的正确预测正确率。
(2)召回率----recall
recall的计算为:
召回率指的是一类目标有多少被识别出来了。
(3)精确度---accuracy
精确度就是在所有预测的样本中,识别正确的占了多少。
准确率和召回率是相互影响的,因为如果想要提高准确率就会把预测的置信率阈值调高,所有置信率较高的预测才会被显示出来,而那一些正确预测(true positive)可能因为置信率比较低而没有被显示了。一般情况下准确率高、召回率就低,召回率低、准确率高,如果两者都低,就是网络出问题了。一般情况,用不同的阈值,统计出一组不同阈值下的精确率和召回率,如下图:
3、AP值
Average precision 平均精确度
如何衡量一个模型的性能,单纯用precision和recall都不科学。于是人们想到,为何不把PR曲线下的面积当作衡量尺度?于是就
有了AP值这一概念。这里的average等于对precision取平均。
4、mAP值
是对多个验证集个体求平均AP值。如下图
二、影响mAP的因素
一般来说影响mAP的原因有很多,主要以下几个:
1、不好的训练数据
2、训练数据不够多
3、标注的框不够准确
4、数据的多变性
有的时候增加训练数据可能mAP并不会增加多少。当然了,使用表现更好的网络,其mAP自然地也会更加的高。