【论文笔记+代码参考】DCAN: Deep contour-aware networks for object instance segmentation from histology images
2017
摘要
本文中，作者在统一的多任务学习框架下提出了一种新的深度轮廓感知网络（DCAN），以实现更精确的检测和分割。在该网络中，基于端到端的全卷积网络（FCN）对多层次上下文特征进行了研究，以处理外观变化较大的问题。此外，进一步建议使用一个辅助监督机制来克服在训练较深网络时梯度消失的问题。本文网络不仅可以输出精确的组织学对象概率图，而且可以同时描绘出清晰的轮廓线来分离聚类对象实例，进一步提高了分割性能。在2015年的MICCAI腺体分割挑战赛和2015年MICCAI细胞核分割挑战赛中排名第一，证明了方法的优越性。贡献
1、本文提出的网络框架在用于分析大规模组织学图像方面有很大潜力。
2、辅助监督机制（加权辅助分类器）可以有效缓解梯度消失，从而加快训练过程，增强深度神经网络的判别能力。
3、本文建议将物体外观（如纹理、颜色等）和轮廓信息优雅地整合到一个多任务学习框架中，以提高分割的准确性。
一、解决的问题
以常规方式从大规模组织病理学图像中手动搜索和分割组织病理学结构可能是昂贵，容易出错和耗时的。 此外，它经常遭受观察者之间和观察者内部的高可变性，这导致了有限的再现性。
从组织学图像中自动检测和分割感兴趣的组织学结构可能非常具有挑战性，一是因为根据组织学等级和疾病类型，物体外观会有很大差异；二是因为组织样本中存在触摸的簇状对象，这使得自动分割方法很难将它们分成单独的对象；三是因为在恶性情况下，腺体等对象的结构会发生严重退化。
二、实验方法
在该网络中，作者将多级上下文信息与辅助监管巧妙地融合在一起，以便有效地生成对象的准确似然图。然后通过融合对象外观和轮廓的补充信息，来构造从FCN派生的深度轮廓感知网络，以实现更鲁棒和精确的分割。此外，为了减轻训练样本不足的挑战，作者还利用迁移学习策略来利用从跨域学到的知识，以进一步提高网络的性能。
具有辅助监督的多级上下文FCN
作者通过利用多级上下文特征表示来改进FCN，具体来说，改进的FCN包含许多卷积层，5个用于下采样的最大池化层和3个用于上采样的反卷积层。对于具有训练参数的每一层都遵循一个非线性映射层（ReLU）。随着网络的深入，通过考虑不同接收场大小的要求来设计上采样层。对特征图进行上采样，并根据从给定接受场中提取的上下文外观信息进行预测。然后将这些预测通过求和运算融合在一起，并可以从softmax分类层获得基于多级上下文特征的最终分割结果。【Q：虽然对于二分类而言，sigmoid和softmax的效果相一致，但为什么不用sigmoid这种专门针对二分类，且在代码实现上来讲收敛更快的函数呢？】
针对梯度消失的问题，作者在网络中添加了三个加权辅助分类器C1-C3。因为辅助监督可以鼓励梯度流向后传播，从中层到高层的综合损失有助于增强整个网络的功能表示能力。损失函数即为这三个辅助器损失的组合+主要损失（预测结果和地面真实）+用于权衡其他项关系的含有超参数的正则项。【这里的正则项应该是起权重值的作用】
深度轮廓感知网络
在分割任务中，对象的边界信息为分割对象提供了很好的补充线索。为此，作者将轮廓信息整合到FCN中，以形成一个深层的轮廓感知网络。将组织学结构分割和轮廓检测视为单个任务和独立任务，而非一个多任务学习框架，该框架可以同时推断对象和轮廓的信息。具体而言，特征图是使用两个不同的分支进行上采样的，以便分别输出对象和轮廓的分割蒙版。
在每个分支中，蒙版由FCN预测，具有多级上下文特征。在训练过程中，针对这两个任务共享并更新了下采样路径
W
s
{W_s}
Ws的参数，同时独立更新了两个单独分支的上采样层的参数（表示为
W
o
{W_o}
Wo和
W
c
{W_c}
Wc）。最终的损失函数简化为关于包括对象和轮廓在内的地面真实分割蒙版的每个像素分类问题。
最终的分割蒙版由目标分割概率图和轮廓分割概率图融合而成，融合标准如下：
t
o
{t_o}
to和
t
c
{t_c}
tc都为阈值，在实验中作者设置为0.5。然后对融合后的分割结果进行滤波平滑（半径设为3）、填充孔洞和去除小的伪线段等后处理步骤。最后，每个连接的组件都被标记为一个唯一的值，用于表示一个分割的对象。
跨域的迁移学习
作者使用DeepLab模型中的预训练权重对下采样路径中的层进行初始化，而其余层根据高斯分布进行随机初始化。然后，采用随机梯度下降的端到端方式对医疗任务的整个网络进行了微调。
三、实验结果
1.实验数据集
MICCAI 2015 腺体分割挑战数据集和细胞核分割挑战数据集【进行了数据扩充的处理】
2.实验评估指标
F1分数，对象级Dice指数和Hausdorff距离
3.结果分析
腺体分割的实验
FCN利用多级上下文特征而不使用轮廓感知组件也可以有效分割腺体。但是，与DCAN的结果相比，有一些无法很好分离的接触腺体。相比之下，由于轮廓感知组件的贡献，DCAN能够将这些接触腺体清楚地分离为单个实例，因此可以获得更准确的分割结果。这些示例定性地展示了通过在统一的多任务学习框架下探索对象外观和轮廓的补充信息而获得的DCAN的优越性。
在挑战赛中，作者提交的带有建议的DCAN的CUMedVision2模型在总体测试数据上取得了最佳结果，在良性测试数据上也表现出竞争优势，证明了建议的DCAN在腺体检测中的有效性。同时，另一项采用多级上下文FCN而不集成轮廓感知组件的CUMedVision1在恶性测试数据上获得了最佳结果，突出了多级上下文FCN在辅助监督下的优势。
核分割的实验
不整合轮廓信息的FCN和DCAN都可以有效地分割测试图像中的大多数核。但是，与DCAN的结果相比，在没有轮廓信息的FCN结果中，有些接触核无法分离为单个核。通过整合对象和轮廓预测图，DCAN可以将接触核清楚地分成单个核，并获得更精确的分割结果。在挑战赛中，无轮廓感知组件的方法在性能上远远超过其他团队，且通过将轮廓信息合并到统一框架中，可进一步提升实验评估指标。 最终，模型在挑战中获得最高分数0.812，证实了所提出的方法（尤其是轮廓感知网络）对于组织学图像中的对象分割任务的有效性
四、原文和参考代码链接
原文链接: click
https://www.sciencedirect.com/science/article/pii/S1361841516302043
代码参考: click.
https://github.com/lisjin/dcan-tensorflow