Ultra-resolve Face Images by Discriminative Generative Networks

XIn Yu and Faith Porikli

简单地说，这篇文章的思路就是把超分辨率网络SR封装成GAN中的生成器。而且实现了更大倍数的超分辨率。

之前人脸超分辨率方法的弱点

1. 局限在2x,4x超分辨率
2. 一旦输入图像分辨率极低，得到的超分辨率结果就很模糊。一些使用landmark的方法无法从极低分辨率图像中获取足够的信息。
3. 很多方法超分辨率的结果存在伪影。
4. 部分方法要求训练集和测试集的人脸图像是对齐的，切具有相同的姿态和表情。
5. 生成超分辨率网络可以获取细节信息，但是与真实人脸差距较大。

论文的主要贡献

1. 提出了URDGN，可以超分辨率8倍，而输入图像只有。
2. 首个将生成判别网络用语人脸超分辨率的网络，且效果优于其他方法。
3. 通过使用正则化表明，本文提出的URDGN可以再任何尺寸下进行超分辨率，而突破GAN只能产生固定大小的图像的束缚。
4. URDGN的训练集不再局限于对齐、同姿势、同表情、同光照，而只需要脸部朝前，且近似对齐（眼睛对齐即可）。

论文提出的主要方法URDGN 

首先GAN中生成器的输入是随机噪声z，输出是想要得到的图像，然后判别器区分真实的图像x和，生成器努力想要“瞒”过判别器，判别器努力“识破”。这是GAN的思想，但是GAN生成的图像虽然具有尖锐的细节信息，但如果用在超分辨率上其结果与真实结果有偏差，于是URDGN为了利用GAN的长处，弥补它的不足，设计了一个反卷积网络作为生成器来做超分辨率，其输入是低分辨率图像，设计了一个卷积网络用来做判别器。

其目标函数为：

其中表示高分辨率图像的概率分布，表示低分辨率图像的概率分布，表示高分辨率图像和低分辨率图像的联合密度函数。是交叉熵损失和欧氏距离损失的平衡因子。

下图是URDGN的网络结构图。

网络训练细节

D的训练：

目标函数前两项与D有关，梯度：

是D的参数，D采用RMSprop的方法更新参数，更新公式：

G的训练：

目标函数后两项与G有关，梯度：

是D的参数，G同样采用RMSprop的方法更新参数，更新公式：

D和G的参数更新公式中：是学习率设置为0.001，更次执行完一个epoch，学习率就乘以0.99，是延迟率设置为0.01，设置为，用于防止分母为0，平衡因子设置为100，目的就是为了让G生成更接近真实高分辨率图像，就像论文中提到的一样，目的屙屎超分辨率图像而不是生成一个图像。

GAN和URDGN的区别

论文还简单介绍了GAN和URDGN的区别：

1. GAN有全连接层，而URDGN中没有。因为全连接层可以看做是非线性映射，实验表明没有全连接层的GAN无法生成人脸图像，而在URDGN中，输入的LR图像是有结构的，全连接层这种非线性映射会毁坏这种结构特征，于是URDGN中没有使用全连接层。
2. GAN的输入时随机噪声，而URDGN的输入时低分辨率人脸图像。
3. GAN中没有正则化，无法生成与高分辨率图像

 

如上图：表示的就是去点全连接层的GAN的结果。

实验

数据集

论文采用的CelebA数据集，从CelebA中随机选择16000个对齐的图像，并将其裁剪成，用15000章图像训练，500验证，500测试。将下采样得到的图像作为低分辨率图像。

对比结果

 

[5]:Liu, C., Shum, H.Y., Freeman, W.T.: Face hallucination: theory and practice. Int. J. Comput. Vis. 75(1), 115–134 (2007)

[7]Yang, J., Wright, J., Huang, T.S., Ma, Y.: Image super-resolution via sparse representation. IEEE Trans. Image Process. 19(11), 2861–2873 (2010)

[10]Yang, C.Y., Liu, S., Yang, M.H.: Structured face hallucination. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,pp. 1099–1106 (2013)

[16]Dong, C., Loy, C.C., He, K.: Image super-resolution using deep convolutional networks.IEEE Trans. Pattern Anal. Mach. Intell. 38(2), 295–307 (2016)

[8]Ma, X., Zhang, J., Qi, C.: Hallucinating face by position-patch. Pattern Recogn.43(6), 2224–2236 (2010)

下图有表情的人脸的实验对比结果。

下图是未对齐的人脸的实验对比结果

下图是不同姿势的实验对比结果： 

下图是脸部朝前的实验对比结果：

 

论文方法的局限

如果图像出现遮挡，论文的方法无法超分辨率被遮挡的部分，但是遮挡不影响对未遮挡部分的超分辨率。如下图

论文的方法不受人脸平移的影响，但是对旋转非常敏感。论文计划添加一个放射函数估计器，根据估计器的参数调整GAN的参数，以解决这个问题。