DeepLab图像分割算分的发展过程

v1:

贡献: 首次把空洞卷积(dilated convolution) 引入图形分割领域

基本内容:

• 基于VGG16
• 将最后两个池化层改为卷积层(控制分辨率不要太小)
• 去掉全连接层(保留最后一个用于softmax分类)
• 后三个卷积改为空洞卷积(保证感受野与去掉池化层前接近)
• 对结果上采样后用CRF细化分割效果
  

空洞卷积(Dilated Convolution)

作用:

• 扩大感受野(pooling也可以增加感受野, 但缺点是空间分辨率也降低了)
• 捕获多尺度上下文信息(通过调节dilation rate)

v2

贡献: 引入带空洞卷积的空间金字塔池化(ASPP)

基本内容:

• 基础网络由VGG16 --> ResNet
• 多尺度空洞卷积并行, 获得更好的分割效果(feature map尺寸不变)
• 采用多项式lr衰减
• 与v1一样, 对结果上采样后用CRF细化分割效果
  

v3

贡献: 优化ASPP

基本内容:

• 提出了获取多尺度信息的并行与串行结构
• ASPP中应用了BN层
• 考虑了dilation rate 的意义, 重新设置了rate 不能过大(rate过大, filter中有效权重减少, 更难捕获远距离信息)
• ASPP中加入全局平均池化, 获取全局尺度信息
• 去掉了CRF后处理

v3+

贡献: 引入编码–解码结构
基本内容:

• v3作为编码部分, 添加了一个解码部分
• 尝试了用Xception作为基础网络(ResNet仍然使用)
  

基本架构

• tf.estimator API定义网络
• 数据读取(将MRI图像制作成TFRecord)
• 得到prdict classes(如果是预测过程, 直接输出结果)
• 设置loss计算方式
• 设置learning rate和优化方式(如果是验证过程, 跳过此步骤)
• 计算accuracy和mean_iou
• 写入日志信息到Tensorboard, 可视化训练过程, 如accuracy, loss, learning_rate等的变化过程
• 开始训练

遇到的问题

• 制作并读取TFRecord: 源码是从TFRecord中读取按jpg格式读取image, MRI数据集为png格式, 修改源码使deeplab读取tfrecord并按png格式解析image.
  后来发现没有做map, label范围不对. 尝试在TFRecord解析出png后把数据转成ndarray进 行 map, 发现这样效率特别低, 放弃.
  重新制作TFRecord, 在制作TFRecord之前, 先做好map
• 数据不平衡, 需要ixi调整权重(batch/整体, class0的权重)
• 修改loss, 加入mean_iou(不包括背景)做优化
• learning_rate的初值及衰减方式
• 源码是每个epoch做一次验证, 我们数据集很大, 这样不合适, 调整为每1/4个epoch做一次验证
• 数据类型错误, label从tfrecord读出来是uint8格式, 范围是0~255, 然后做padding的过程 中有个-255, 再转换成float然后+255的操作, 导致数据出错
• 经过几天训练, 发现模型有些欠拟合, 因为不同区域间的分界线分割效果不是很好, 所以停止 训练, 修改模型. 1. 只对input做224*224的随机裁剪, 不进行rescale和flip等操作 2. 减小 weight_decay, 即减小正则化项的权重. 3. 用卷积核找到label中不同class的边界, 增大边界像素的 分类权重, 使得网络着重分类边界的学习
• 等等…

训练过程

实验结果

未来打算

6.1 修改网络结构:

• 尝试范围空间卷积
• ASPP全局平均池化如果是要传递全局尺度信息, 直接传原feature map会不会又更好的效果
• 解码部分尝试U-Net结构, 结合不同分辨率下提取到的信息进行分割

6.2 用集成学习提高模型效果(模型融合)

• 同轴位下, 相同模型不同参数做平均
• 同轴位下, 不同模型之间做集成
• 三个轴位, 各自训练模型, 然后集成

6.3 尝试用手工标注数据对网络进行微调