Unet形的网络结构为什么在医学影像分割上表现不错呢?
看过大量的文献和代码,大部分都是Unet
形的结构,即分为编码和解码两部分,中间有skip connection
,不同的网络skip connection
不同。个人的理解:
1.医学图像边界模糊、梯度复杂,需要较多的高分辨率信息,深度学习可以做到这一点,比如上采样、下采样以及skip connection
和concatenation
。
2.待分割的目标形态相似,有规律可循,比如形状近似圆,分布的区域都在某个范围,如图所示的心脏区域
3.Unet
在encode
部分,下采样之后的低分辨率信息,人眼无法识别,但是为分割提供 了一个整体的参考,如下图所示,是从CTA
分割心脏冠状动脉的下采样的示意图,很多分类问题就是利用的这一点。
4.Unet
在decode
部分,区别于图像分类最大的地方就是这里,这里通常会有很多魔改的操作,因为为了恢复原始尺寸,单独上采样是不行的,需要融合之前的信息,怎么融合法就是百家争鸣,百舸争流了,这一部分能为分割提供比较细节的信息,比如梯度,指导整个分割的进行,也是对之前下采样的特征的一个提取,至关重要,如图所示,是训练进行到某一步时的上采样的中间示意图。
我需要提取的是血管,没记错这个示意图是epoch
为10的时候的结果,可以看到需要提取的血管已经被提取出来,虽然保留了其余的组织,但是会随着训练的加深,学习到更多的特征之后就能进行排除了。
以上是对Unet
形的网络结构的表