CartoonGAN导读

作者：

1. Yang Chen ，Tsinghua University,，China
2. Yu-Kun Lai， Cardiff University，UK
3. Yong-Jin Liu，Tsinghua University，China

---

背景：

由于

1. 卡通风格具有高水平简化和抽象的独特特征
2. 卡通图像倾向于具有清晰的边缘，平滑的颜色阴影和相对简单的事实

现有的方法不能产生令人满意的卡通化结果。

---

目的：

一种将现实世界场景的照片转换为卡通风格的图像的生成对抗网络（GAN）框架，透过一组照片和一组卡通图片进行训练，这两组照片无需对应，基于GAN的方法，可以有效地学习使用不成对图像集进行训练的真实世界照片到卡通图像的映射。

---

突破：

1. Semantic Content Loss（语义内容损失）:为了应对照片和漫画的风格变化，在VGG网路中高级特征映射中引入稀疏正则化的语义损失 ℓ1
2. Edge-Promoting Adversarial Loss（边缘增强对抗损失）:在鉴别器网络中引入以保留清晰的边缘。

---

比较：

Non-photorealistic rendering (NPR)：

无法转换风格，只对阴影及边界做处理。

NST：

可以自动转换各种艺术风格，但是它要求训练集图像相似。

CNNMRF

可能在语意分割上出错。

Cycle GAN

同时训练两组网路，速度较慢

---

核心

由两个CNN组成，一个是生成器：负责产生假图混肴鉴别器，一个是鉴别器：分辩图像真伪
为找出$(G∗,D∗) = arg min GmaxD L(G,D)$(G∗,D∗)=argminGmaxDL(G,D)
$G *$G∗和$D *$D∗为网络的权重

以降低损失函数$L(G,D) = Ladv(G,D) + ωLcon(G,D)$L(G,D)=Ladv(G,D)+ωLcon(G,D)
$Ladv（G，D）$Ladv（G，D）：对抗损失（adversarial loss）
$Lcon( G，D )$Lcon(G，D)：内容丢失损失（content loss）
$ω$ω：平衡两个损失的权重，较大的ω会保留来自输入照片的更多内容信息，在文章中设置ω= 10，可以实现风格和内容保存的良好平衡。

透过残差块（residual blocks）概念的身份快捷链接（identity shortcut connection）简化训练过程，使用批量归一化（batch normalization）抵消在内部变量接近最低点时的震荡。