七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

一、GAN部分应用

1.图像生成 Training Examples -> Model Samples

2.视频应用

3.图片超精度变换

4.图图变换

二、GAN的简单理解

1. 从autoencoder讲起的生成模型

2. MSE存在一些问题

3.简单的设想

 

4. 迭代与进化 Generator + Discriminator = GAN

三、GAN原理介绍

1、前方高能

Attention: 评估训练好坏,并不能通过loss的大小来衡量！

2. 各种变种GAN：

1) 基于GAN的最优化修改：fGAN、WGAN、Least-square GAN、 Loss Sensitive GAN、 Energy-based GAN、 Boundary-seeking GAN、 Unroll GAN.....

2) 基于GAN的结构修改： Conditional GAN、 Semi-supervised GAN、 InfoGAN、 BiGAN、Cycle GAN、 Disco GAN、 VAE-GAN......

四、DCGAN实践：

1）Discrinator：就是一个CNN的分类器，输入是28*28*1的手写数字图像，输出是一个0-1的概率。结构如下，**函数用的leaky ReLU，dropout取0.4-0.7之间。

2）Generator：从100维的随机向量去生成一张28*28*1的图片，我们会用到 反卷积/转置卷积(transposed convolution)，用的ReLU**函数，dropout使用的0.3-0.5之间，同时使用了BN层，使得训练能正常进行。

3）Adversarial Model：把上面的生成模型和分类模型合并在一起形成一个对抗模型。

4）Training：先训练Discriminator，然后迭代交替训练generator和discriminator。

5）Result