换脸方法之FSGAN

论文：FSGAN: Subject Agnostic Face Swapping and Reenactment

官网：https://nirkin.com/fsgan/

Github：https://github.com/YuvalNirkin/fsgan

 

ICCV2019

 

论文提出了一种新的换脸（swapping ）和再现（reenactment ）的方法FSGAN，可以对图片和视频实现换脸操作。在v100显卡上，reenactment 可以达到30fps，swapping 可以达到10fps。

 

主要贡献：

（1）首次处理姿态，表情，人物ID的信息，并且不需要人物对的训练就取得了非常高的质量。

（2）提出了基于三角剖分（Delaunay Triangulation ）和质心坐标（barycentric coordinates ）解决多视角情况下的相同人脸的插值问题。

（3）提出了stepwise consistency loss 训练人脸再现，提出了Poisson blending loss 训练生成图片和原始图片的融合。

 

整体流程：

 

损失函数：

perceptual loss ：

Reconstruction loss :

Adversarial loss :

reenactment loss , segmentation loss:

Face view interpolation loss:

 

Face inpainting loss:

 

Face blending loss:

 

实验结果：