变分推断一（基于平均场理论求解Q）

本文主要参考B站的白板推导系列，推荐大家观看。

什么是变分推断

$X$X ： 观测变量
$Z$Z：latent variable + parameter
在变分推断中，样本点$X$X被称为观测变量（observed data），未知参数和潜变量被称为不可观测变量，都用$Z$Z来表示。

我们的模型一般都是根据观测数据来求$Z$Z的后验分布，也就是求$P(Z|X)$P(Z∣X)，但是有的时候，$P(Z|X)$P(Z∣X)是不好求的，所以可以尝试用一个容易求解的分布$Q$Q来逼近$P(Z|X)$P(Z∣X)，当$Q$Q和$P(Z|X)$P(Z∣X)之前的差距很小时就可以用$Q$Q来近似代替$P(Z|X)$P(Z∣X)。

数学推导求解$Q$Q

根据概率公式，我们有
$\tag{1} logP(X) = logP(X, Z) - logP(Z|X)$logP(X)=logP(X,Z)−logP(Z∣X)(1)
(1)式右边的两项log里面的部分同时除以$Q(Z)$Q(Z)，（1）式的值依然相等。即
$\tag{2} logP(X) = log{P(X, Z) \over Q(Z)} - log{P(Z|X) \over Q(Z)}$logP(X)=logQ(Z)P(X,Z)​−logQ(Z)P(Z∣X)​(2)
(2)式两边同时乘以$Q(Z)$Q(Z)，并对$Z$Z求积分得。

$\begin{aligned} 左边 = & \int_{Z} logP(X)Q(Z)dZ \\ & = logP(X) \\ 右边= & \int_{Z} ( Q(Z)log{P(X, Z) \over Q(Z)}- Q(Z)log{P(Z|X) \over Q(Z)})dZ \\ = & \int_{Z} Q(Z)log{P(X, Z) \over Q(Z)}dZ - \int_{Z} Q(Z)log{P(Z|X) \over Q(Z)})dZ \\ = & L(Q) + KL(Q||P) \end{aligned}$左边=右边===​∫Z​logP(X)Q(Z)dZ=logP(X)∫Z​(Q(Z)logQ(Z)P(X,Z)​−Q(Z)logQ(Z)P(Z∣X)​)dZ∫Z​Q(Z)logQ(Z)P(X,Z)​dZ−∫Z​Q(Z)logQ(Z)P(Z∣X)​)dZL(Q)+KL(Q∣∣P)​
上式中，第一项记为$L(Q)$L(Q)，第二项连同负号是KL散度的形式，表示的是后验分布$P(Z|X)$P(Z∣X)与分布$Q(Z)$Q(Z)之间的距离。
所以有
$\begin{aligned} \tag{3} logP(X) = L(Q) + KL(Q||P) \end{aligned}$logP(X)=L(Q)+KL(Q∣∣P)​(3)
由于$KL(Q||P)$KL(Q∣∣P)是大于等于0的，所以$L(Q) <= logP(X)$L(Q)<=logP(X)，此时也称$L(Q)$L(Q)是ELBO（证据下界）。值得注意的是，此时的$L(Q)$L(Q)是分布$Q$Q的函数（也称为泛函），当数据给定的时候，$logP(X)$logP(X)是不变的，所以如果我们让$L(Q)$L(Q)最大化，也就是会让$KL(Q||P)$KL(Q∣∣P)最小化，那么我们就会找到一个$Q$Q，从而用这个$Q$Q近似后验分布$P(Z|X)$P(Z∣X)。

根据平均场理论，我们可以将$Z$Z分割为独立的$M$M份，也就是
$\tag{4} Q(Z) = \prod_{i}^{M} Q_{i}(Z_{i})$Q(Z)=i∏M​Qi​(Zi​)(4)
由前面的推导知，
$\tag{5} L(Q) = \int_{Z} Q(Z)log{P(X, Z) \over Q(Z)}dZ$L(Q)=∫Z​Q(Z)logQ(Z)P(X,Z)​dZ(5)
将（4）代入（5）式，得
$\begin{aligned} \tag{6} L(Q) = \int_{Z} \prod_{i}^{M}Q_{i}(Z_{i})logP(X,Z) dZ-\int_{Z} \prod_{i}^{M}Q_{i}(Z_{i})log\prod_{i}^{M}Q_{i}(Z_{i})dZ \\ = \int_{Z} \prod_{i}^{M}Q_{i}(Z_{i})logP(X,Z) dZ - \int_{Z} \prod_{i}^{M}Q_{i}(Z_{i})\sum_{i}^{M} logQ_{i}(Z_{i})dZ \end{aligned}$L(Q)=∫Z​i∏M​Qi​(Zi​)logP(X,Z)dZ−∫Z​i∏M​Qi​(Zi​)logi∏M​Qi​(Zi​)dZ=∫Z​i∏M​Qi​(Zi​)logP(X,Z)dZ−∫Z​i∏M​Qi​(Zi​)i∑M​logQi​(Zi​)dZ​(6)
考虑其中的某一项$Q_{j}(Z_{j})$Qj​(Zj​)，分别计算(6)式的两部分。



得到$Q_{i}(Z_{i})$Qi​(Zi​)之后，根据公式（4）便得到了我们要求的分布$Q$Q。