DeepLearing—CV系列（十七）——图像分割模型U-Net、U-net++、U^2-Net、DeepLab的理论详解
文章目录
一、什么是图像分割
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。
本质：像素级别的分割
二、图像分割的应用
（1）医学
（2）自动驾驶
（3）交通控制系统
（4）在卫星图像中定位物体（道路、森林等）
三、图像分割的发展
四、图像分割的分类
4.1 普通分割
将不同分属不同物体的像素区域分开，如前景与后景分割开，狗的区域与猫的区域分割开。
4.2 语义分割
在普通分割的基础上，分类出每一块区域的语义，如画面中的所有物体都指出它们各自的类别。
4.3 实例分割
在语义分割的基础上，给每个物体编号，如这个是该画面中的A狗，那个是画面中的B狗。
五、图像分割的结构
最开始的结构：
缺点：最大池化；加了padding位置要偏移；反算时，像素值也变了
标签不能是输入（那就成编解码结构了），标签自己涂。
损失用BCE：既要学习分布，也要学习值
分割关注全局与局部：
1.分割要尖锐比较好，不应该平滑–>网络不应该太深
2.路由concate
5.1 图像下采样方法
（1）池化
（2）较大步长的卷积
（3）使用padding的下采样
本质：图像特征的压缩。(特征图越来越小，感受野越来越大)
5.2 图像上采样方法
（1）转置卷积
参数较少，速度较快；会造成像素偏移，这里不用
（2）像素插值
信息丢失较少，速度较中
（3）像素融合
通道信息平铺，不丢失信息
六、图像分割的模型
6.1 FCN（Fully Convolutional Networks）
缺点：
（1）池化
（2）用了padding
（3）两次路由不够
6.2 U-Net
跳跃连接用的是裁剪，裁边缘留中心。
6.3 U-Net++
6.3.1 U-Net++
6.3.2 U-Net++的深监督(deep supervision)
加1*1Conv做监督，做损失；4个损失，加到一块，一块做损失。
6.3.3 U-Net++的剪枝
原因：模型基于长连接和短连接，每层剪枝都可以单独使用
优点：适应简单和复杂的分割任务，训练一块训练(每层有促进作用)，使用可以单独使用。
如何做剪枝：加1*1的卷积(卷积集也可以)，做深监督
6.4 DeepLab
七、图像分割的评估
7.1 Dice系数
集合相似度度量函数，通常用于计算两个样本的相似度，范围为[0,1]
7.1.1 Dice系数和IOU的关系
蓝色部分为TP（True Positive），红色部分为FN（false negative），黄色部分为FP（false Positive）
我们把dice看作自变量，IOU看作因变量，上式即为一个函数公式。以dice为x轴，IOU为y轴，画出函数图像：可以看出：使用dice系数可以得到一个更高的指标分数。
7.1.2 Dice系数的计算
7.2 Dice Loss
dice loss比较适用于样本极度不均的情况，
一般情况下，适用dice loss会对反向传播造成不利的影响，
容易使训练变得不稳定
7.3 IOU Loss
IOU Loss = 1-IOU