Severity-Aware Semantic Segmentation with Reinforced Wasserstein Training

摘要

基于交叉熵损失的像素分类在分割问题上取得成功，但是交叉熵有局限性。

当使用交叉熵损失时，分割类别是独立考虑的，没有考虑成对儿误分类的不同严重程度。

当发生错误预测时，不同误分类造成的误分类结果可能严重不同。

比如在自动驾驶领域，如上图所示，将 Car->Bus 要比将 Car->Road 好的多。

针对交叉熵对不同误分类的损失是一样的这个不足，**重要性感知（importance-aware）**方法是按组分配不同的权重，这样可以的得到不同的误分类损失。但是没有考虑成对儿误分类的不同严重程度。

为了考虑误成对儿误分类的不同严重程度，将 Wassertein 距离 作为交叉熵损失的一个选择。

Wassertein 距离被用来衡量两个分布的相似程度，衡量了把数据从分布“p”移动成分布“q”时所需要移动的平均距离的最小值 。

主要贡献

（1）提出一个原则性的严重度意识语义分割目标，区分成对的错误分类严重程度是必要的。

（2）在我们的 Wasserstein 训练框架中，成对的错误分类严重程度可以作为先验在我们的学习基础矩阵中进行探索。

（3）ground metric 也可以利用基于高保真自主驾驶的部分可观测强化学习(RL)框架自适应地学习。

方法

Eq.1来计算预测和目标之间的 wasserstein 损失。

$D_{i,j} 代表把i误分类为j，M_{i,j}代表把i移动到j的质量。$Di,j​代表把i误分类为j，Mi,j​代表把i移动到j的质量。

如果只考虑 softmax 与相应的 one-hot 形式的标签，则Eq.1可简化为Eq.2。

自动驾驶模拟器的前置摄像头采集到的图像X，作为输入传到 Segment中，得到预测图，预测图与真值图做比较，计算 wassertein 损失。

agent 代理器的功能如上所描述。

配置好 RL 模块就可以自适应的学习 ground 矩阵 D 了。

分为上图所示的 step.A 和 step.B 两步。

实验

模拟器：CARLA Benchmarks：Cityscapes, CamVid

Backbone：若干

表1 结果说明了平均交通事故的发生里程得到提升。

用Deeplab对CARLA中的前视图像进行处理，得到分割结果，并与深度摄像机和车辆统计数据相结合作为状态。

我们将其vanilla Deeplab模块替换为使用Wasserstein Loss或 IAL 进行微调的模块
“A-”表示自适应地矩阵调整

将自适应学习 ground 矩阵应用到重要性感知语义分割中

mIou结果得到提升

对于约束自训练(LRENT)的无监督域自适应，我们也使用Wasserstein距离的近似解。

个人总结

实验只有表格数据，没有图片来显示分割效果的提升。

对于Eq.2 没有很好的理解为什么可以简化成这样的形式。

读完最大的收获是知道了什么是 wassertein 距离，通过查阅资料知道了该距离相比于 KL 散度 和 JS 散度有其自身的优势。

再有就是严重度意识方法，从不同误分类造成的严重程度不同考虑，确实是一个创新点。