GANimation: Anatomically-aware Facial Animation from a Single Image（ECCV18）

3 Problem Formulation

定义输入图像$\mathbf{I}_{\mathbf{y}_r}\in\mathbb{R}^{H\times W\times3}$Iyr​​∈RH×W×3，$\mathbf{y}_r=\left ( y_1,\cdots,y_N \right )^T$yr​=(y1​,⋯,yN​)T表示$N$N个Action Unis，每一个AU $y_n$yn​是归一化到$[0, 1]$[0,1]的AU intensity

我们的目标是学习一个mapping $\mathcal{M}$M，给定target AU $\mathbf{y}_g$yg​，将输入图像$\mathbf{I}_{\mathbf{y}_r}$Iyr​​变换为$\mathbf{I}_{\mathbf{y}_g}$Iyg​​，即$\mathcal{M}: \left ( \mathbf{I}_{\mathbf{y}_r},\mathbf{y}_g \right )\rightarrow\mathbf{I}_{\mathbf{y}_g}$M:(Iyr​​,yg​)→Iyg​​

训练数据集包含$M$M个样本，每一个样本是一个triplet，记作$\left \{ \mathbf{I}_{\mathbf{y}_r}^m, \mathbf{y}_r^m, \mathbf{y}_g^m \right \}_{m=1}^M${Iyr​m​,yrm​,ygm​}m=1M​，由于我们不知道$\mathbf{I}_{\mathbf{y}_g}$Iyg​​，因此是无监督学习

4 Our Approach

如Figure 2所示，整个框架主要包含2个网络

正向$\left ( \mathbf{I}_{\mathbf{y}_r},\mathbf{y}_g \right )\rightarrow\mathbf{I}_{\mathbf{y}_g}$(Iyr​​,yg​)→Iyg​​
反向$\left ( \mathbf{I}_{\mathbf{y}_g},\mathbf{y}_r \right )\rightarrow\mathbf{\hat{I}}_{\mathbf{y}_r}$(Iyg​​,yr​)→I^yr​​

4.2 Learning the Model

Image Adversarial Loss

WGAN将原版GAN中的JS散度替换为Earth Mover Distance
为了maintain a Lipschitz constraint，WGAN-GP增加了一项gradient penalty，computed as the norm of the gradients with respect to the critic input

critic loss $\mathcal{L}_I\left ( G, D_I, \mathbf{I}_{\mathbf{y}_o}, \mathbf{y}_f \right )$LI​(G,DI​,Iyo​​,yf​)定义如下
$\mathbb{E}_{\mathbf{I}_{\mathbf{y}_o}\sim\mathbb{P}_o}\left [ D_I\left ( G\left ( \mathbf{I}_{\mathbf{y}_o}|\mathbf{y}_f \right ) \right ) \right ] - \mathbb{E}$EIyo​​∼Po​​[DI​(G(Iyo​​∣yf​))]−E

Attention Loss