GAN

预备知识

• KL-divergence

                                         

• Jensen-Shannon divergence                        

                                  

Remark:

    1. KL(p||q) 非负，不对称，当且仅当p=q时值为0；

    2. JS(p||q) 非负，对称，当且仅当p=q时值为0！           

GAN模型

• Idea        

                                                                                             

• Model

                                      

       Remark : max_D V(D, G) <<==>> 明辨是非，min_G V(D, G)  <<==>> 混淆视听！

• Theory

      1. For G fixed, the optimal discriminator D is :

                                                     

      2. For the virtual training criterion, the global minimum is achieved iff P_g = P_data.

                                             

      3. If the discriminator is allowed to reach its optimum given G, P_g is updated so as to minimum criterion, then  P_g converges to P_data!

• Algorithm  

                     

   Remark : 固定G，更新D的时候，为什么需要内循环多次（K次）？【sampling enough】

GAN的本质

                   

实验结果

           

优、缺点

• 优点

1. GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播,而不需要复杂的马尔科夫链；
2. 相比其他所有模型, GAN可以产生更加清晰，真实的样本
3. GAN采用的是一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域
4. 相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),VAEs引入决定性偏置,因为他们优化对数似然的下界,而不是似然度本身,这看起来导致了VAEs生成的实例比GANs更模糊。
5. 相比VAE, GANs没有变分下界,如果鉴别器训练良好,那么生成器可以完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,但是VAE是有偏差的。
6. GAN应用到一些场景上，比如图片风格迁移，超分辨率，图像补全，去噪，避免了损失函数设计的困难，不管三七二十一，只要有一个的基准，直接上判别器，剩下的就交给对抗训练了。

• 缺点

1. 训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的；
2. GAN不适合处理离散形式的数据，比如文本；
3. GAN存在训练不稳定、梯度消失、模式崩溃的问题（目前已解决）；