百面深度学习 | 第四期：变分自编码器

“百面深度学习”系列连载 第四期

变分自编码器

引言

目前学界流行有两大生成模型，它们分别是变分自编码器（Variational AutoEncoder, VAE）与生成对抗网络（Generative Adversarial Network，GAN），相比GAN采用对抗训练的思想，VAE则是用了数学上更为优美的变分推断来解决模型优化的问题。通过优化目标函数的下界来达到训练模型的目的。在本讲中，我们将介绍VAE的一些基本思想及其训练方法。

问题

VAE的基本思想是什么？

是如何进行变分训练的？

分析与解答

Figure 1: 生成过程

通过应用贝叶斯公式，我们可以得到式 eq. 2

从而得到 eq. 3

Figure 2: VAE模型

Figure 3: VAE_参数化模型

Figure 4: VAE_采样过程

[1] KINGMA D P, WELLING M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.

下期预告

【生成式对抗网络】

引言

很多人认为与算法和编程离艺术很遥远，但是实际上，算法和编程中藏着一个非常具有创造性的世界，这种创造性就是一种建立在逻辑之上的艺术。而生成式对抗网络（ Deep adversarial networks, GANs ）就是一种非常能展现其“创造性”的模型。从名字就可以看出，GANs 的核心在于“生成”和“对抗”，“生成”指的是生成式模型，生成式模型的目的是模拟多个变量的联合概率分布，它已经有很长的发展历史， 也出现了许多经典的模型，如隐马尔可夫模型，受限玻尔兹曼机以及变分自动编码器等；“对抗”指的是对抗训练的方法，Yann Lecun 曾将这种“互怼”的艺术评论为“近十年机器学习领域最有趣的想法”。这两者结合，就产生出了神奇的 GANs。从 GANs 在 2014 年被提出至今，各种各样的方法和应用不断推进和扩宽着它的发展，我们可以看到它在图像，语音，文本，诗词歌赋等各种领域展现的创造力。

问题

请简述GANs目标函数的演进。

说好的彩蛋在这里！

有一个MIT的数学博士来我司面试，在前三面把我司的同事进行了羞辱。直到面试丁老师大杀器，最后这个同学哭着回到MIT开始了他的博士后生涯…

丁老师二三事

涨姿势，学本领

关注Hulu公众号