准确理解 Precision 准确率, Recall 召回率 , IoU
Precision和Recall
下面是几个常见的模型评价术语,假设我们的分类目标只有两类,计为正例(positive)和负例(negtive)扥别是:
- True positives(TP):被正确的划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数)
- False positives(FP):被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数
- False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数
- True negatives(TN):被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数
P 代表precision即准确率,计算公式为预测样本中实际正样本数 / 所有的正样本数,即precision=TP/(TP+FP)
R 代表recall即召回率,计算公式为预测样本中实际正样本数/预测的样本数,即recall=TP/(TP+FN)=TP/P
一般来说,precision和recall不能同时得到最优值,往往召回率越高,准确率越低;召回率越低,准确率越高;
P- R曲线
P-R曲线即以precision和recall作为纵、横轴坐标的二维曲线,通过选取不同阈值时对应的精度和召回率画出。总体趋势,精度越高,召回越低,当召回达到1时,对应概率分数最低的正样本,这个时候正样本数量除以所有大于等于该阈值的样本数量就是最低的精度值。
另外,P-R曲线围起来的面积就是AP值,通常来说一个越好的分类器,AP值越高。在目标检测中,每一类都可以根据recall和precision绘制P-R曲线,AP就是该曲线下的面积,mAP就是所有类AP的平均值。
IOU
IOU即交并比(intersection-over-union),是目标检测中使用的一个概念,是一种测量在特定数据集中检测对应物体准确度的一个标准。IOU表示了产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率会着说重叠度,也就是他们的交集与并集的比值。相关度越高该值越高。最理想的情况是完全重叠,即比值为1.