NMS

原理:

同一个目标会被多个建议框包围,这时需要非极大值抑制操作去除得分较低的候选框以减少重叠框。 

  1. 对2000×20维矩阵中每列按从大到小排序; 
  2. 从每列最大的得分建议框开始,分别与该列后面的得分建议框进行IoU计算,若IoU>阈值(0.3~0.5),则剔除得分较小的建议框,否则认为图像中存在多个同一类物体; 
  3. 从每列次大的得分建议框开始,重复步骤2; 
  4. 重复步骤3直到遍历完该列所有建议框; 
  5. 遍历完2000×20维矩阵所有列,即所有物体种类都做一遍非极大值抑制; 

栗子:

NMS

假设从小到大属于车辆的概率 分别为A、B、C、D、E、F。

  1. 从最大概率矩形框F开始,分别判断A~E与F的重叠度IOU是否大于某个设定的阈值;
  2. 假设B、D与F的重叠度超过阈值,那么就扔掉B、D;并标记第一个矩形框F,是我们保留下来的。
  3. 从剩下的矩形框A、C、E中,选择概率最大的E,然后判断E与A、C的重叠度,重叠度大于一定的阈值,那么就扔掉;并标记E是我们保留下来的第二个矩形框。
  4. 就这样一直重复,找到所有被保留下来的矩形框。

代码:

https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/nms/py_cpu_nms.py

单个类别MNS:

# --------------------------------------------------------
# Fast R-CNN
# Copyright (c) 2015 Microsoft
# Licensed under The MIT License [see LICENSE for details]
# Written by Ross Girshick
# --------------------------------------------------------

import numpy as np

def py_cpu_nms(dets, thresh):
    """Pure Python NMS baseline."""
    #x1,y1,x2,y2,scores的赋值
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    #每个检测框的大小
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    #置信度scores按照降序排列
    order = scores.argsort()[::-1]

    #保留最终结果框的集合
    keep = []
    while order.size > 0:

        #得分最大框的索引
        i = order[0]
        #保留该类剩余box中得分最高的一个
        keep.append(i)

        #得到相交区域,左上(大)及右下(小)
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        ##计算相交的面积,不重叠时面积为0
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h

        #计算IoU,重叠面积 /(面积1+面积2-重叠面积)
        ovr = inter / (areas[i] + areas[order[1:]] - inter)

        #保留IoU小于阈值的box
        inds = np.where(ovr <= thresh)[0]
        #因为ovr数组的长度比order数组少一个,所以这里要将所有下标后移一位
        order = order[inds + 1]

    return keep
© 2019 GitHub, Inc.

NMS