Transferring GANs: generating images from limited data 论文学习
Transferring GANs: generating images from limited data
2018ECCV
论文链接：https://arxiv.org/pdf/1805.01677.pdf
Abstract
探究预训练网络对GAN的影响相关的问题
1. Introduction
贡献：
1. 研究了域自适应，评估了几个模型
2. 研究了源域和目标域之间的关系如何影响结果，并讨论选择合适的预训练模型的问题
3. 评估从GANS转移到cGAN的两种常用的方法
2. Related Work
Transfer learning/domain transfer:
巴拉巴拉很多其他的研究，看不懂~
与这些方法相比，作者不关注于传递鉴别特征，而是传递用于图像生成的知识，就是关注生成图像的质量。
GAN cGAN相关
3. Generative Adversarial Networks
3.1 Loss functions
3.2 Evaluation Metrics
作者选用两种评估方法
Fr´echet Inception Distance：
Independent Wasserstein (IW) critic：
4. Transferring GAN representations
4.1 GAN adaptation
作者采用WGAN-GP的结构，说这是被实验证明是唯一稳定并且不遭受模式崩溃的架构~
该生成器由一个全连接的层、四个resnet块和一个卷积层组成，并且鉴别器具有相同的设置。相同的体系结构用于CGAN。
Implementation details：
生成64X64的图片，还介绍了下学习速率设置和批训练
4.2 Generator/discriminator transfer configuration
进行了四个实验
用ImageNet预训练G 和D（也就是转移） ，用LSUN bedrooms做目标数据
我们可以发现转移训练D效果比转移G更好。然后都转移效果最好，所以后续作者说都采用对G，D都转移
可以发现转移GAN迭代时间短，且质量更好。
4.3 Size of the target dataset
又进行实验
作者使用来自LSUN卧室数据集的1000张图像做目的数据集，并使用IMANET作为源数据集。请注意，一般来说，GAN 要使用全套300万幅LSun卧室来做生成。
好了，看看结果吧~
在这个实验中，我们发现根据预训练模型自适应的GAN需要少于大约两到五倍的图像，就可以获得与从头开始训练的GAN相似的分数
可以发现预训练网络可以在早期迭代中已经生成高质量的图像，特别是具有更清晰和更明确的形状和更逼真的精细细节。
4.4 Source and target domains
作者开始研究原域与目标域的选取对实验的影响，没错，又要开始实验了
原域：ImageNet和Places都覆盖了广阔的领域，对象和场景分别具有很大的多样性，而LSUN卧室和CelebA则覆盖了更窄的领域。
目标域：作者使用了更小的数据集，包括Oxford Flowers、LSUN Kitchens（2M图像中的50K的子集）、Label Faces（LFW）和CityScapes
看看效果图：
可以看出，各有千秋把~
4.5 Selecting the pretrained model
那么怎么选择预训练模型呢？
也许最简单的方法是比较原源和目标域之间的距离，如下
与表4比，大致一致，还是有点差别
然后作者得出结论：
源数据和目标真实数据之间的FID是粗糙的指标，而不是精确度量。实验小王子~~
4.6 Visualizing the adaptation process
这个过程还是比较有意思，可以看到图片在慢慢的从原域转换到目标域
5. Transferring to conditional GANs
5.1 Conditional GAN adaptation
作者用AC-GAN的模型
Loss函数为：
由GAN到cGAN的两种方法：
1. Cond Concat：将条件标签和输入噪声连接作为输入
2. Cond BNorm：将条件标记插入生成器的批归一化层中（纳尼？！）在这种情况下，每个类都有不同的批处理归一化参数。我们通过复制从无条件的GAN到所有类的值来初始化这些参数。
5.2 Results
可以发现效果更好
还进行了和前面一样的size实验：
6 Conclusions
1. 从预训练模型中转移GAN效果比从0开始强，迭代的更快，质量更好，cGAN也是
2. 结果还表明从窄而密集的数据集中传递知识更有效
（p.s. 好吧，全篇都是实验~~~~这也行）