Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation 论文笔记
论文：https://arxiv.org/abs/1603.06098
一、背景介绍
弱监督的图像分割（Weakly-Supervised Image Segmentation）：
只有对于图像的类别标注，而没有对于图像中目标具体位置和目标类别的标注对于弱监督的图像分割提出一种新的损失函数，主要基于以下三点：
- Seeding Loss——对目标进行弱定位（weak localization）生成初始mask
- Expansion Loss——对弱定位的mask进行合理的扩大
- Constrain-to-boundary Loss——对扩大后的mask进行合理的约束，更贴近目标边界
二、SEC
算法的整体框架如图1 所示，上中下三行分别对应三种不同的loss
图 1
1、Seeding loss
首先需要使用某种方法对图像中的目标进行弱定位（weak localization），所谓的弱定位，就是通过图像层面（image-level）的label对图像中的目标进行定位。采用的主要方法为CAM（Class Activation Mapping）—— Learning Deep Features for Discriminative Localization（CVPR 2016）
Seeding loss的流程及效果如图2 所示，图片中主要有两个目标：person和cow（图2 左），使用弱定位方法将两个目标以及背景分别生成热力图（图2 中），最后合成，生成这三类的初始位置信息（图2 右）
图 2
Seeding loss定义如下：
其中表示在图像X中，区域u被预测为类别c的概率，Sc表示通过弱定位得到的那些被标注为类别c的区域
由此式，seeding loss可以约束神经网络，使其只关注那些高亮区域，而忽略剩余区域，提高预测能力
2、Expansion loss
由于Seeding loss生成的弱定位区域太小，没有实用性，因此需要对其进行合理的扩大，而Expansion loss就是为此而设计
为了训练一个图像分割网络，可以使用全局池化层，将卷积层得到的特征图（即segmentation mask）进行全局池化操作，得到对应的图像层面的label得分
全局池化主要有两种：
- Global Max Pooling（全局最大池化）：只能使单个区域的响应较高，低估（underestimate）了目标的尺寸
-
Global Average Pooling（全局平均池化）：所有区域的响应都比较高，高估（overestimate）了目标的尺寸
为了消除这些弊端，提出了GWAP（Global Weighted Rank Pooling）方法，对每个类别计算加权平均得分，对于那些可信度较高的区域（即更有可能是目标的区域），对应的权重就比较大，反之亦然
对于图像X，类别为c的GWRP定义如下：
其中dc是衰减系数
- 当dc=0时，GWRP就是GMP
- 当dc=1时，GWRP就是GAP
我们首先需要将图像X对于类别c的所有预测得分进行降序排列，即在索引集合中，使得
，如此，GWRP定义式中
就表示概率越大的所赋予的权重越大
对于GWRP中的衰减参数dc，对每张图片和每个类别可以单独设置，但需要很多先验知识，因此这里简单地将dc分为三类：
- d+：在图像中出现的目标类别的衰减参数
- d-：在图像中未出现的目标类别的衰减参数
- dbg：背景类的衰减参数
Expansion Loss 定义如下：
其中，T表示在图像X中出现的类别的集合，C'\T表示在图像X中未出现的类别的集合
由此，Expansion loss可以将由Seeding loss生成的初始mask进行合理的扩充
3、Constrain-to-boundary loss
由于由Expansion loss扩充后的mask较大，因此需要对其进行合理的约束，使其更贴近目标边界，而Constrain-to-boundary loss就是为此而设计。
首先，我们构造一个fully-connected CRF（全连接条件随机场），提取得到图像中的目标边界；
然后，将神经网络的输出和CRF的输出计算平均KL散度，以此作为损失函数，使得网络输出的mask逐渐拟合CRF输出的目标边界
Constrain-to-boundary loss定义如下：
由此，Constrain-to-boundary loss可以将由Expansion loss生成的扩充mask进行合理的约束，使其更贴近于目标的实际边界
三、SED结果展示
原始图像：
2、Expansion Loss
3、Constrain-to-boundary Loss