深度学习知识点：mAp和召回率
文章转自：https://mp.weixin.qq.com/s/5kzWL6rCKZGX1xfQ71-gfQ
一：参数解释
检测对象的评价多数是基于某测试数据集的，通常称为SUT(System Under Test)
在训练时候使用的数据通常被称为GT Sytem(是带有正确标准框的数据)。
FP – False Positive是指一个对象出现在SUT中但是没有出现在GT中
TP – True Positive是指一个对象既出现在SUT也出现在GT中
FN – False negative是真一个对象出现在GT中但是没有出现在SUT
TN – True negative是指对象在SUT与GT中均没有出现
CGT – complete ground truth 是指总的GT数目
二：计算AP与mAP
在计算AP过程中最重要的是生成Precision-Recall Curve (精确度-召回率曲线)，它是计算mAP最重要的一步动作。下图中有六个book的标注框(GT)
真实标注信息
book 439 157 556 241
book 437 246 518 351
book 515 306 595 375
book 407 386 531 476
book 544 419 621 476
book 609 297 636 392
预测出来的框
有八个预测框，根据得分从高到低的排序如下：
book 0.619459 413 390 515 459
book 0.462608 518 314 603 369
book 0.460851 429 219 528 247
book 0.382881 403 384 517 461
book 0.369369 405 429 519 470
book 0.298196 592 310 634 388
book 0.272826 433 272 499 341
book 0.269833 433 260 506 336
判断TP与FP代码如下
if ovmax >= min_overlap:
if "difficult" not in gt_match:
if not bool(gt_match["used"]):
# true positive
tp[idx] = 1
gt_match["used"] = True
count_true_positives[class_name] += 1
# update the ".json" file
with open(gt_file, 'w') as f:
f.write(json.dumps(ground_truth_data))
if show_animation:
status = "MATCH!"
else:
# false positive (multiple detection)
fp[idx] = 1
if show_animation:
status = "REPEATED MATCH!"
else:
# false positive
fp[idx] = 1
if ovmax > 0:
status = "INSUFFICIENT OVERLAP"
计算累计TP与FP的代码如下：
for idx, val in enumerate(fp):
fp[idx] += cumsum
cumsum += val
cumsum = 0
for idx, val in enumerate(tp):
tp[idx] += cumsum
cumsum += val积分求解
Precision与Recall数据的取值范围都在0~1之间，以Recall为X轴位、以Precision为Y轴可以绘制PR曲线。在绘制之前首先需要完成插值操作
首先对精度数据首尾添加0然后进行最大值插值取值，得到mpre
【1.0, 1.0, 1.0, 0.66, 0.5, 0.5, 0.5, 0.5, 0.5, 0】
对召回数据首尾添加0与1得到mrec
【0, 0.166, 0.33, 0.33, 0.33, 0.33, 0.5, 0.5, 0.66, 1.0】
进行寻找变化的梯度得到index(1、2、6、8、9)，对曲线积分求解最终的AP为：
loop index(1、2、6、8、9)
AP =+ ((mrec[index]-mrec[index-1])*mpre[index])
return AP
上面的解释是AP计算方法，VOC2007对计算出来结果，根据原始取得的recall进行最大插值为11点的方式来计算AP，图示如下：
另外一种方式被称为全插值方法，同样是基于最大值进行插值，得到曲线显示如下
通过插值之后进行AP计算得到的结果会跟积分直接求解的结果不同，当前PASCAL VOC都是基于全插值方式来计算AP，最终根据每个类别的AP求和之后除以总的检测类别数目就得到mAP值。
mAP = sum(AP) / N
其中N表示总的类别数目