GAN初探
1. 简述
GAN由两个网络构成:generator和discriminator,generator负责生成数据,discriminator判断输入数据是真实的还是由generator生成的。以图片生成为例,generator输入一个随机向量,输出一张图片;discriminator是一个二分类器,输出这张图片是真实数据的概率。
GAN的训练过程:首先固定住generator,然后更新discriminator的参数,让discriminator区分能力更强;然后固定discriminator,更新generator,让generator产生更真实的图片。
2. 原理
我们要生成的图片数据是符合某种分布的,称为,
表示generator生成的数据分布。如果
无限接近
,那么generator就能生成非常逼真的图片。用
来表示两个分布之间的差别,那么generator的训练目标就是
由于我们不知道与
的具体公式是什么,因此不能直接利用梯度下降法来求解。
GAN用discriminator来衡量两个分布之间的差别,discriminator首先从两个分布中sample数据,然后求解以下目标:
最终.
GAN最终的算法为: