Object-Guided Instance Segmentation【目标引导的实例分割】与 Mask RCNN、Polar Mask的对比

Object-Guided Instance Segmentation

论文地址：https://arxiv.org/abs/1911.09199

设计思路：

对图片新进行目标检测，框出所检测的实例范围。将框映射到浅层特征图（0-1）以及深层目标图（2-4），将对应的ROI区域裁剪下来，（包含浅层到深层的单个实例的特征图）。分割阶段，从最深层的分割图开始，先进行上采样，与下一层拼接，进行特征融合，以此类推，实现分割。

创新点：

1. 从深层获取实例信息（应对物体粘连），从浅层获细节信息（应对语义分割无法捕获细节），目标指导的实例分割。
2. 目标检测分支为了得到深层的feature map进行decoder。
3. 单个关键点的热力图实现小目标识别检测。
4. Instance Norm 突出实例信息，抑制其他相关性强的实例。

问题：

1. 如何对目标框映射回特征图？（非线性）这是可解释性吗？
2. Offsetmap的作用

 

Mask RCNN

 

设计思路：

对特征图穷举可能的anchor框，判别proposal是否框中目标（一次边框修正），得到RoI区域，对每个RoI进行语义分割（FCN二分类），同时完成目标检测（二次边框修正）。

不同点：

1. 没有重新利用特征图信息，分割部分与检测部分相对独立。
2. 对小目标检测分割通过FPN的多尺度实现的。
3. Proposal生成主要依靠ancher与bbox的IoU来判断实例是否存在。 而Ob-Guid是一步到位的目标检测。

缺点：

1. 细节信息会被proposal和语义分割的loss等忽略

Polarmask

设计思路：

 

对特征图穷举实例可能存在的点，判别点的中心度，对中心所对应的实例进行多（36）边形回归。

不同点：

1. 单发的实例分割，直接从mask和category学习，不需要bbox。

缺点：

1. 无法解决甜甜圈的问题。
2. 对细节信息的分割还不如maskrcnn。