【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

CVPR 2015的文章,论文原文《Fully Convolutional Networks for Semantic Segmentation》。

该论文开启了将神经网络的全连接层替换为卷积层来做语义分割的先河。

作者提出了一个end-to-end的做语义分割的方法FCN,直接将groundtruth作为监督信息,训练一个端到端的网络,做像素级的预测。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

以AlexNet为例,看如何将全连接层转化为卷积层。

1. 第一个4096全连接层的输入是7x7x512,将全连接层替换为一个F=7,P=0,S=1,K=4096的卷积层,输出是1x1x4096。

2. 第二个4096全连接层替换为一个F=1,P=0,S=1,K=4096的卷积层,输出是1x1x4096。

3. 第三个1000全连接层替换为一个F=1,P=0,S=1,K=1000的卷积层,输出是1x1x1000。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

关于如何通过upsampling得到dense prediction,作者研究了三种方案,最终选择的反卷积方法,因为它快速且有效。

但是仅仅是以上的结果显得比较粗糙,所以作者考虑加入更多前面层的信息,与最后的输出做一个融合。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

实验表明,这样的分割结果更细致更准确。在逐层fusion的过程中,做到倒数第三层再往前,结果又会变差。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation


作者比较了AlexNet,VGG16,GoogleNet。实验表明VGG16的效果最好。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

比较了几种skip FCN结构。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

作者设计了四个评价指标。

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation

【论文学习记录】Fully Convolutional Networks for Semantic Segmentation