Progressive and Multi-path Holistically Nested Neural Networks的解读

        本文的经典之处是采用逐步细化分割结果，通过将中间的预测输出和下层的输出融合策略来达到精细分割目标的目的。

        本文方法适应了高效的整体嵌套网络（HNN）的深度学习架构[17]。为了克服HNN输出模糊性和FCN粗分辨率的问题，本文引入了一个简单、强大的多路径增强。不像其他多路径的方法[1,7,10]，使用复杂的粗略到精细分割的路径，我们选择对多尺度路径的进化约束，并且不需要额外的卷积层或网络参数。这个方案是一个有效和简单的病理性肺部分割方法，本文称之为渐进整体嵌套网络（P-HNN）。

        HNN模型最初称为整体嵌套边界检测，是FCN的一种，本文的HNNs基于标准的CNN模型加入batch normalizaiton模块。 HNN将基于深度监督的概念推广到FCNs，这是一种基于更深层次可以访问更高级别的抽象特征，但是尺度等级较粗糙。如图1的绿色箭头所示，HNN的新颖性是通过深度监督来指导训练，通过在中间阶段计算输出和其损失。HNN也合并来自不同的网络阶段的预测，允许不同的级别和尺度贡献到最后的结果。

We share our tool online for researchers' use and testing1.

本文开源了代码或者集成的工具

        医学影像上病理性肺组织由于其外观、形状的变动性，对其有效的分割具有很大的挑战性。因为病例肺组织的分割通常是其他图像分析的先决条件，方法简单性和通用性是可用性的关键因素。基于本原则，本文提出了一种自下而上深度学习的方法，其表现力足以处理病理性肺部外观上变化，同时保持不受任何形状变化的影响。我们纳入了深度监督的学习框架，但是通过简单而有效的渐进多路径方案来增强它，其更可靠地将来自不同网络阶段的输出合并。该结果是一个深刻的模型，能够生产更精细的分割掩模，我们称本框架为渐进整体嵌套网络（P-HNN）。使用广泛交叉验证的方法，我们的方法在多机构数据集上进行测试，这个数据包括929个CT扫描（848个公开可用），从病理肺分割结果可知，mean dice为0.985，其结果相对最先进的方法有定量和定性的改进。

1 引言

       受现有方法发展的驱动，我们采用自下而上的FCN方法到病理性肺部分割。鉴于病理性肺部分割通常是在后续分析之前的第一步，我们在简单性和鲁棒性方面予以高度重视。鉴于这个原因，本文方法适应了高效的整体嵌套网络（HNN）的深度学习架构[17]。为了克服HNN输出模糊性和FCN粗分辨率的问题，本文引入了一个简单、强大的多路径增强。不像其他多路径的方法[1,7,10]，使用复杂的粗略到精细分割的路径，我们选择对多尺度路径的进化约束，并且不需要额外的卷积层或网络参数。这个方案是一个有效和简单的病理性肺部分割方法，本文称之为渐进整体嵌套网络（P-HNN）。

2 方法

 

       HNN模型最初称为整体嵌套边界检测，是FCN的一种，本文的HNNs基于标准的CNN模型加入batch normalizaiton模块。 HNN将基于深度监督的概念推广到FCNs，这是一种基于更深层次可以访问更高级别的抽象特征，但是尺度等级较粗糙。如图1的绿色箭头所示，HNN的新颖性是通过深度监督来指导训练，通过在中间阶段计算输出和其损失。 HNN也合并来自不同的网络阶段的预测，允许不同的级别和尺度贡献到最后的结果。

       更正式地，一组1×1卷积权重w =（w（1），... w（m））将每个阶段的最后**图折叠成图像，即，用a(jn,m)表示在阶段m，样本n在像素位置j的输出，在将其上采样到原始输入图像分辨率后，估计使用中间阶段的分割掩模采用下式1,2,3来估计

：

      针对每个中间输出的交叉熵损失函数能够采用式4来表达，其中β代表全局类平衡的常数。正如图1中所示，HNNs在已学习权重的基础上输出最后的融合概率图。

       HNN虽然高效，但却遭遇两个问题。第一个是不一致的融合输出，有时它们中间的某些端输出提供比最终融合输出更好的结果。第二个问题是许多早期FCN解决方案所共有的一个问题，更深阶段有更深层次的抽象，它们的**输出在空间分别率方面也更粗糙，阻碍了精细细节的捕获。这个问题通常使用复杂的多路径连接[1,7,10]来组合较早的阶段的**输出，从而实现有粗糙到精细的途径。

      虽然现有某些文献的解决方案有效，但它们需要额外的参数，比如和原来的FCN总数几乎相当的[1,10]，或超过[7]原来FCN的多路径方案。本文遵循简单的理念，提出直接的逐行多路径连接。如图1所示，本文应用S型函数**之前使用简单的加法组合当前和以前阶段。因此，这里改变了HNN的3式为5式的表达，实现这一操作。

      由于**可以呈现负值或正值，5式强制侧输出通过增加或减去相应的输出来改善先前的输出**。为此，我们将模型称为渐进整体嵌套网络（P-HNN）。这种逐步增强允许P-HNN放弃融合输出，避免HNN输出的不一致。像其他多路径解决方案，通过多个连接的梯度反向传播级联。与其他解决方案不同，这种增强的新功能可以实现最小的复杂性，比标准HNN要求更少的参数。

3 实验

 4 结论

       这项工作引入了P-HNN，一种基于FCN的[8] 病理性肺组织分割的深度学习工具，它结合了深度监督和多路径连接的强大理念。我们使用一个渐进的多路径增强的方法来处理普遍FCN粗糙分辨率的问题，该方法在基础FCN上不需要额外的参数。当在929胸廓CT上进行测试时，P-HNN始终优于（p <0.001）标准HNN，产生平均DS为0.985±0.011。与最先进的工具相比， P-HNN也显着改进了病理性肺组织的分割。因此，P-HNNs提供简单而高效的手段来生产强大的病理性肺组织分割mask。PHNN模型也可以应用于具有其他病态的病理性肺部可以为其他分割任务提供一个直接而强大的工具。