RoI：RoIPooling 和 RoIAlign

RoI 目的：

     为了使得检测网络可以输入任意size的图片，使用ROIPooling在网络中某一个阶段将不同尺度的图片ROI pooling成相同的尺度，使得fc的存在也无法写死输入图片的size。

ROIPooling:

方法：直接Pooling，若尺寸，如果不对应则直接取整

缺点：

        由于 RoIPooling 采用的是 INTER_NEAREST（即最近邻插值） ，在resize时，对于缩放后坐标不能刚好为整数 的情况，采用了 粗暴的舍去小数，相当于选取离目标点最近的点，损失一定的空间精度。

例如：一张图片输入VGG16，则得到的尺寸缩小为1/32，如下图中，图片大小为800，则恰好为25，但区域块大小为665经过VGG后则为20.78，则直接处理为20，再通过ROIPooling(即，将所有不同的尺寸全部Pooling处理为相同的大小）处理为7*7，则20/7--> 2，由下图可知，Pooling之后存在一定的位置偏移。

 针对上图

      1、Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25

      2、假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，如果你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操作，于是，进行所谓的第一次量化，即映射的特征图大小为20*20

      3、假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将上面在 feature map上映射的20*20的 region  proposal划分成49个同等大小的小区域，每个小区域的大小20/7=2.86,即2.86*2.86，此时，进行第二次量化，故小区域大小变成2*2

      4、每个2*2的小区域里，取出其中最大的像素值，作为这一个区域的‘代表’，这样，49个小区域就输出49个像素值，组成7*7大小的feature map

     总结，所以，通过上面可以看出，经过两次量化，即将浮点数取整，原本在特征图上映射的20*20大小的region proposal，偏差成大小为14*14的，这样的像素偏差势必会对后层的回归定位产生影响

具体计算流程：

下图为一张8*8的feature map，选取其中一个5*7的region输入ROIPooling输出2*2的结果。

1、划分为2*2=4块区域

（1）5/2 = 2.5 --> 2, 剩下的为3，则2+3

（2）7/2 = 3.5 -->3， 剩下的为4，则3+4

2、取每个小区域的最大值为pooling值

   二）、RoIAlign

  这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的

  先贴出一张图，接着通过这图解释RoiAlign的工作原理：

同样，针对上图，有着类似的映射

     1、Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25

      2、假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，此时，没有像RoiPooling那样就行取整操作，保留浮点数

     3、假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，所以，将在 feature map上映射的20.78*20.78的region proposal 划分成49个同等大小的小区域，每个小区域的大小20.78/7=2.97,即2.97*2.97

      4、假定采样点数为4，即表示，对于每个2.97*2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算，这样，就会得到四个点的像素值，如下图

上图中，四个红色叉叉‘×’的像素值是通过双线性插值算法计算得到的

       最后，取四个像素值中最大值作为这个小区域(即：2.97*2.97大小的区域)的像素值，如此类推，同样是49个小区域得到49个像素值，组成7*7大小的feature map

具体计算流程：

下图为一张8*8的feature map，选取其中一个5*7的region输入ROIPooling输出2*2的结果。

1、划分为2*2=4块区域

（1）5/2 = 2.5 --> 2.5, 不再取整，则2.5+2.5

（2）7/2 = 3.5 -->3.5，不再取整，则3.5+3.5

2、将每小块再分为4个小区域，使用双线性插值的方法求取这四个小区域的中心点处的值

3、取每个区域的最大值为pooling值

         总结：知道了RoiPooling和RoiAlign实现原理，在以后的项目中可以根据实际情况进行方案的选择；对于检测图片中大目标物体时，两种方案的差别不大，而如果是图片中有较多小目标物体需要检测，则优先选择RoiAlign，更精准些....