ACE: Adapting to Changing Environments for Semantic Segmentation

论文地址：https://arxiv.org/abs/1904.06268

在实时的语义分割任务中，数据环境随着时间发生变化时或者是新的数据环境未被训练过时，当前的神经网络分类算法经常会遭遇到数据域的偏移从而造成性能下降，比如从白天的场景变换到了晚上。作者提出了一种叫做ACE的方法通过风格迁移来改善这种数据环境的变化带来的影响并进行了优化，同时这种方法也可以用于对新环境的图像进行像素级标注（手工对图像进行像素级的标注代价是十分昂贵的）。

在文中，作者主要从四个角度对模型进行了改善：1.使用AdaIN对训练数据和新任务数据进行风格迁移，2.在分割网络中使用KL距离修正风格变化后的分割效果，3.将历史训练经验向量化存储在内存中，然后从内存中随机提取历史经验用于学习新任务，4.使用元学习的方法完成更快的学习。

1.使用AdalN进行风格迁移

此处的AdaIN为Huang 提出的AdaIN[1]，想要了解的可以看我的另一篇文章。这里假定有带像素级标签的源任务，而新进的目标任务则是没有标签的。风格迁移的目的是：当一个新的任务（不同环境的图像）出现时，通过将源任务中的图像以及其标签迁移到目标图像中，以在新任务域中生成带标注的图像。为了完成这个目的，作者通过联合训练一个生成网络(上图中的Image Generate)用于产生目标风格的图像，以及一个语义分割网络(上图中的Segmentation Network)用于处理目标域中的图像。生成网络中使用一个预训练的VGG19网络作为编码器，通过在训练过程中固定编码器的参数来提取固定的 x i 0 x_i^0 xi0​和 x j t x_j^t xjt​特征表示 f e n c ( x i 0 ) = z i 0 f_{enc}(x_i^0) = z_i^0 fenc​(xi0​)=zi0​以及 f e n c ( x j t ) = z j t f_{enc}(x_j^t) = z_j^t fenc​(xjt​)=zjt​。生成器输出图像的风格使用AdaIN从目标图像中获取（通过将源图像特征图以目标图像的通道均值和方差进行重标准化完成），如下：

假设生成器的参数为 Ψ g e n \Psi_{gen} Ψgen​，作者通过最小化如下损失来产生带有源图像内容但风格却是目标图像的生成图像：

其中，第一项用于测试生成图像的特征与经过AdaIN对齐后的源图像特征的差异，用于保留源图像中的内容。剩下的两项则通过每个通道的均值匹配和方差的匹配，用于强制生成的图像将风格接近于目标图像。

2.在网络中使用KL距离修正风格变化后的分割效果

经过第一步后产生的合成图像被输入到分割网络中，该网络通过在每个像素上最小化多类交叉熵损失和，得到的图像分割结果可以看成是一个像素级的标签向量。在这里，考虑到合成后的图像相比于源图像可能损失了一定的细节内容，从而导致分割网络的效果降低，作者通过KL距离来进一步约束合成图像经过分割网络后的结果尽可能的接近未经过风格化处理之前的源图像的标签（如上图最右部分）。最后，分割网络的损失函数如下：

其中 Ψ s e g \Psi_{seg} Ψseg​为分割网络的参数。

3.从内存中提取经验用于学习新任务

源任务和目标任务的差异可以通过以上两步进行优化，但目前我们还未知道如何利用以往学习到的知识来让模型持续的适应一连串进来的任务，其可能包括不同的图像分布。一种简单的方法是将之前任务的历史图像库存储起来，当学习新任务时再从库里随机的抽取图像。然而，这可能需要很大的内存。在Huang 的AdaIN中提到，可以用图像特征图的统计量信息(均值和方差)来有效产生对应的图像风格，因此，可以只需要存储图像的特征统计信息即可。当学习一个新任务时，除了从新任务中采样图像之外，还可以随机的从包括以往任务的风格信息库中抽取"知识"。如上图Memory。

4.使用元学习的方法完成更快的学习

作者使用了Reptile[2] 元学习方法来加快模型训练，感兴趣的可以看博客https://blog.****.net/tiangcs/article/details/107868178。以下是优化算法：

[1]X. Huang and S. Belongie. Arbitrary style transfer in realtime with adaptive instance normalization. In ICCV, 2017. 2, 4

[2]A. Nichol, J. Achiam, and J. Schulman. On first-order metalearning algorithms. CVRR, 2018. 3, 5