文献阅读笔记【7】：基于改进的全卷积神经网络的路面裂缝分割技术

• 论文 | 基于改进的全卷积神经网络的路面裂缝分割技术
• 作者 | 翁飘 陆彦辉 齐宪标 杨守义
• 期刊 | 计算机工程与应用
• 时间 | 2019

该文章采用的改进的全卷积神经网络（Fully Convolutional Networks，FCN）是一种图像分割的方法，与之前的 采用 Ｕ-Net卷积网络的桥梁裂缝检测方法 有一定的类似。该文章中比较有价值的是引用的一些方法和概念。

• 全卷积神经网络，FCN即将CNN中用于分类的全连接层替换为卷积层，输入图像的尺寸不再固定，在输出的时候对图像进行上采样，将其恢复到原图大小，从而达到对每个像素都产生预测。
• 在使用FCN对裂缝图像进行分割的时候可以发现，在一张裂缝图像上背景区域（完好路面）与前景区域（裂缝）从像素上来说分布是不平衡的。背景区域或者说负样本像素个数大于目标裂缝的像素个数。对于此问题该文章采用了OHEM（OnlineHard Example Miniing）算法

• 平均交并比（Mean Intersection over Union，mean_IoU）：语义分割的标准度量，计算两个集合的交集和并集之比。文中用这个指标来评价图像分割算法的准确性。
  

• 在裂缝分割的过程中为了使特征更加全面，将第二层、第一层池化的输出也融入到后面的输入中（分别记为FCN-4s、FCN-2s，同时对比得出了FCN-4s的分割效果最优。
  
  Comments：
  该文中的方法仅可用于对图像进行一定的预处理之后，或者说用于背景较为干净的情况下。但是对于文中的全卷积神经网络，可以作为使用深度学习图像语义分割方法进行裂缝提取的入门，后续的方法也许更有参考意义：

  发展历程

  2014年 FCN 模型，主要贡献为在语义分割问题中推广使用端对端卷积神经网络，使用反卷积进行上采样
  2015年 U-net> 模型，构建了一套完整 的编码解码器 2015年 SegNet 模型，将最大池化转换为解码器来提高分辨率
  2015年 Dilated Convolutions（空洞卷积），更广范围内提高了内容的聚合并不降低分辨率
  2016年 DeepLab v1&v2
  2016年 RefineNet 使用残差连接，降低了内存使用量，提高了模块间的特征融合
  2016年 PSPNet 模型
  2017年 Large Kernel Matters
  2017年 DeepLab V3

  而且其中的OHEM解决了正负样本类别不均衡问题，也具有参考意义，但是目前我对此技术的细节并未理解。整理来说，此文方法可用于裂缝检测中的裂缝提取部分，可以与神经网络图像分类结合操作。