图像超分辨率文献:To learn image super-resolution, use a GAN to learn how to do image degradation first

主要工作关于图像和人脸超分辨率,本文发表于ECCV 2018上
原文地址:https://arxiv.org/abs/1807.11458
代码地址:https://github.com/jingyang2017/Face-and-Image-super-resolution

文章主要创新点

1.训练数据的选取:作者认为以往的图像超分辨率在训练数据的选取上,往往是通过人工从源高分辨率图像进行下采样得到的,这种通过人工手段获取的低分辨率图像与自然环境下真实的低分辨率图像是不相同的。因此,作者设计了一个基于GAN的High-to-Low网络从HR图像获取较自然的LR图像来模拟真实低分辨率数据。
2.损失函数的设计:以往的图像超分辨率工作,使用L2 pixel loss占主要作用,而GAN loss作为使得生成图像看起来更加锐利和真实作为补充。本论文采用的方法正相反,使用GAN loss主要作用于图片的生成过程。
图像超分辨率文献:To learn image super-resolution, use a GAN to learn how to do image degradation first网络结构与训练过程

人工生成的低分辨率图像和真实自然存在的图像存在一定差异,因而使用这些训练数据,GAN也不能生成更真实的图片。
为了解决这个问题,作者提出了两个步骤的方法:首先,用未配对的图像训练一个降低分辨率的GAN,所以它学习了如何减小高分辨率图像的规模。
当图片有多级退化或未知退化(比如运动模糊)时,能够帮我们获取真实结果的并不是建模过程,而是图像退化的学习过程。
第一阶段,我们可以使用不同的未配对数据集,比如由Celeb-A、AFLW、LS3D-W和VGGFace2组成的高分辨率图像数据集,或者低分辨率图像数据集Widerface。第二阶段,用上一步的输出结果,用已配对训练数据从低分辨率到高分辨率地训练GAN。
网络整体结构如下:
图像超分辨率文献:To learn image super-resolution, use a GAN to learn how to do image degradation first
训练High-to-Low网络时,输入数据采用HR图片加入随机噪声的方式,用来产生多种多样的LR output
图像超分辨率文献:To learn image super-resolution, use a GAN to learn how to do image degradation first实验结果
通过实验结果,本文采用FID作为衡量生成图片真实性的指标,认为本文提出的方法产生的图片更加真实。
图像超分辨率文献:To learn image super-resolution, use a GAN to learn how to do image degradation first