每周一篇 文献阅读—paper6 (语义分割)

ACE: Adapting to Changing Environments for Semantic Segmentation


文章链接:https://arxiv.org/pdf/1904.06268v1.pdf

文章译文

译文可以参考:http://www.sohu.com/a/343366184_651893

文章还是每周都在看的,只是没空更新一整个文章的翻译了,以后只记录自己对文章的理解,就不做翻译啦~

主要方法介绍

流程图如下:
每周一篇 文献阅读—paper6 (语义分割)
问题:以往的分割模型没有考虑到训练图像与测试图像之间的数据分布的差异,因此准确性不够高。
方法:文章提出一个框架,引入了风格迁移,将原图像(训练图像)风格迁移到目标图像(测试图像)域,使得训练图像与测试图像的数据分布一致,再用新的训练图像来进行分割网络的模型训练,可以在测试图像上取得更准确有效的分割结果。

source target: 原任务中的数据,可以理解为训练数据
current target:当前任务的数据,可以理解为测试数据

具体实现:
ACE主要由4个部分组成:编码器,图像生成器,记忆单元,语义分割网络

首先用编码器(文章采用的是VGG19)来提取图像的特征,并用relu4的作为feature map作为编码结果。文章中图像的风格是用提取出的feature map 的均值和方差来描述的。再利用AdaIN来借鉴测试图像的风格,然后用公式(1)
每周一篇 文献阅读—paper6 (语义分割)
来re-normalize 训练图像的feature map,使它和训练数据的feature map的均值方差相同,再用生成器generator来反卷积feature map,实现feature map 到 image的转换,生成风格迁移后的训练图像。最后用风格迁移后的训练图像进行语义分割网络的训练(这个网络也是用的现成的,文章还用了几个不一样的来做实验),在训练分割网络的时候,为了避免合成图像时图像细节的丢失导致的分割结果不准确,文章用KL散度来进一步约束合成图像通过网络产生的分割结果和原始图像的分割结果越接近越好。

至于记忆单元,我的理解是,每次来新任务的时候,都会把新任务中任意图像的feature map 的均值方差记录下来,这样下次训练编码器-生成器这一块地方的时候,对于每一个训练图像,可以任选两张风格参考图像:一张来自current target,一张来自memory,避免把之前学习过的东西给忘了,这样训练出来的生成器网络可能会更好吧。而且呢,有了记忆单元的话,就可以通过记录的均值方差来还原历史数据啦,是历史数据的再现成为可能~