One-shot Face Reenactment（BMVC19）

3 Approach

给定source face $x_s$xs​，包含了pose guidance，以及target face $x_t$xt​，包含了reference appearance，学习的目标是生成一幅图像包含$x_s$xs​的pose/expression，以及$x_t$xt​的identity

3.1 Disentangle-and-Compose Framework

Shape Encoder $E$E
Shape Encoder $E$E的网络结构和文献[34, 35]中的boundary encoder一模一样，将人脸图像编码为一个15通道的heatmap，分别对应人脸不同的部分，然后涂上不同的颜色，得到face parsing maps

此外，增加额外的2个gaze channels，

Shape Encoder $E$E在WFLW数据库上进行预训练，gaze channels在EOTT数据库上进行预训练，预训练完成后，整个Shape Encoder $E$E被frozen

Appearance Auto-Encoder $F$F
Appearance Auto-Encoder $F$F包含Encoder部分以及Decoder部分

$F$F需要学习人脸图像中的identity information和local facial details

$F$F的Decoder负责重构人脸图像，为了保证生成图像中的identity，将Decoder过程中的feature maps拼接到Semantically Adaptive Decoder $D$D中（Figure 3中的橘黄色箭头）

为了保证$F$F不受shape的影响，……

Semantically Adaptive Decoder $D$D
原本可以采用U-Net的结构，现在使用了multi-scales SPADE blocks，就可以去掉U-Net的Encoder部分

3.2 FusionNet

目前为止的模型在生成facial details（如胡子、皱纹）仍然存在问题，而warping-based methods生成facial details的效果比较好，因此提出一个FusionNet结构，如Figure 4所示，接收生成图像以及warping的结果，生成一个mask用于融合两幅图像

3.3 Learning

$\begin{aligned} L_{total}&=L_{reenact}+\lambda L_{app_recons} \\ L_{reenact}&=\alpha_rL_{perceptual}+\alpha_gL_{GAN}+\alpha_iL_{id} \qquad(1) \end{aligned}$Ltotal​Lreenact​​=Lreenact​+λLappr​econs​=αr​Lperceptual​+αg​LGAN​+αi​Lid​(1)​