PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images

今天要介绍的是一篇发表在MICCAI2017年workshop上的做脑组织分割的论文《Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images》,论文提出了采用多个模态多个scale和多个通路来增加分割的信息,达到较好的分割效果,17的paper确实流行采用多个网络拼接来提升效果的形式。
下面看下网络的主要框架,网络MSPNN由两个部分组成,并输入了三个不同角度的信息,做信息的融合。

PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images
框架亮点一:

采用两路卷积,对应于采样不同大小的patch,其中大的patch对应多个scale的U-net,小的patch对应采用 convolutional auto-encoder (CAE)自动卷积编码处理后的BNPPs,也就是人工神经网络。其背后的原来就是根据不同的样本大小采用不同深度的网络,其中U-Net代表deep的网络,BNPP代表了shadow的网络,这样可以更好地提取信息。
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images
对于U-net来说,这里采用了3个downsample和3个upsample,比较适用于医疗图像的情况
框架亮点二:
第二个通路在做人工神经网络之前采用CAE进行了重建,也就是一个图像重建的工作。这样的好处可以自动建设医疗图像中噪声或者是冗余的信息,其实也是有点像U-net的重建思路
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images只是做一种非常浅层的重建。图像重建之后也是经过一个两层多个scale的神经网络得到分割的结果。
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images

实验结果:
实验一:比较了state-of-the-art的效果:
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images

实验二:分开两个通路研究了两个通路各自以及合并在一起的作用
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images
实验三:比较了算法的运行时间以及复杂度
PaperReading1-Multi-scale Networks for Segmentation of Brain Magnetic Resonance Images

论文处理框架上没有其他的亮点,但就是提供一种实现多种scale,多条通路的思路,也达到一定的效果。但我这里有个问题,文章并没有对CAE的效果进行定性及定量的测评,只是对比有没有加上CAE能不能提升最后的效果,所以CAE到底是不是起到很好的重建作用,我还是报以怀疑,希望有读者看到可以指点一下。


reading_date:20180704