背景

指数族分布的概率密度函数PDF或概率质量函数PMF的通用表达式框架为：
$P(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta))$P(x∣η)=h(x)exp(ηTϕ(x)−A(η))
其中$\eta$η为参数向量，$x\in\mathbb{R}^p$x∈Rp，$\phi(x)$ϕ(x)是充分统计量，$A(\eta)$A(η)是对数配分函数log partition function，原因如下。我们假设有：
$P(x|\theta)=\frac{1}{z}\hat{P}(x|\theta)$P(x∣θ)=z1​P^(x∣θ)
上式中$z$z为定义为配分函数，然后将表达式框架转换成：
$P(x|\eta)=h(x)\exp(\eta^T\phi(x)-A(\eta)) \\=\frac{1}{\exp(A(\eta))}h(x)\exp(\eta^T\phi(x))$P(x∣η)=h(x)exp(ηTϕ(x)−A(η))=exp(A(η))1​h(x)exp(ηTϕ(x))
那么此时的$z=\exp(P(A(\eta)))$z=exp(P(A(η)))，所以有$A(\eta)=\log z$A(η)=logz，其中上文提到$z$z定义为配分函数，前面加上$\log$log后就为对数配分函数

高斯分布的指数族形式

为加深记忆，再次申明：
$\eta$η：参数 parameter
$\phi(x)$ϕ(x)：充分统计量 sufficient statistics
$A(\eta)$A(η)：对数配分函数 log partition function
对于分布满足$X\sim N(\mu,\sigma ^{2})$X∼N(μ,σ2)的高斯分布：
$P(x|\theta)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{(x-\mu)^2}{2\sigma^2}\right\},\theta=(\mu,\sigma) \\=\exp\left\{ (\frac{\mu}{\sigma}^2-\frac{1}{2\sigma^2}) \begin{pmatrix} x\\ x^2 \end{pmatrix} -(\frac{\mu^2}{2\sigma^2}+\frac{1}{2}\log2\pi\sigma^2) \right\}$P(x∣θ)=2π​σ1​exp{−2σ2(x−μ)2​},θ=(μ,σ)=exp{(σμ​2−2σ21​)(xx2​)−(2σ2μ2​+21​log2πσ2)}
其中：
$\eta^T=(\frac{\mu}{\sigma}^2-\frac{1}{2\sigma^2}) ,\phi(x)=\begin{pmatrix} x\\ x^2 \end{pmatrix},A(\eta)=(\frac{\mu^2}{2\sigma^2}+\frac{1}{2}\log2\pi\sigma^2)$ηT=(σμ​2−2σ21​),ϕ(x)=(xx2​),A(η)=(2σ2μ2​+21​log2πσ2)
继续化简：
$\eta=\begin{pmatrix} \eta_1\\ \eta_2 \end{pmatrix} =\begin{pmatrix} \frac{\mu}{\sigma^2}\\ -\frac{1}{2\sigma^2} \end{pmatrix}\Rightarrow\mu=-\frac{\eta_1}{2\eta_2},\sigma^2=-\frac{1}{2\eta^2}$η=(η1​η2​​)=(σ2μ​−2σ21​​)⇒μ=−2η2​η1​​,σ2=−2η21​
将$\mu$μ与$\sigma$σ代入，有：
$\eta^T=(\frac{\mu}{\sigma}^2-\frac{1}{2\sigma^2}) ,\phi(x)=\begin{pmatrix} x\\ x^2 \end{pmatrix},A(\eta)=-\frac{\eta_1^2}{4\eta^2}+\frac{1}{2}\log(-\frac{\pi}{\eta_2})$ηT=(σμ​2−2σ21​),ϕ(x)=(xx2​),A(η)=−4η2η12​​+21​log(−η2​π​)
所以高斯分布的指数族分布表示形式为：
$P(x|\eta) = exp\left\{ \eta^T\phi(x)-A(\eta)\right\}$P(x∣η)=exp{ηTϕ(x)−A(η)}

对数配分函数$A(\eta)$A(η)与充分统计量$\phi(x)$ϕ(x)的关系

对指数族分布的概率密度函数中$A(\eta)$A(η)直接求导即可，直接上结论：
$A'(\eta) = E_{P(x|\eta)}[\phi(x)]=\int P(x|\eta)\phi(x)dx\\ A''(\eta) = Var_{P(x|\eta)}[\phi(x)]$A′(η)=EP(x∣η)​[ϕ(x)]=∫P(x∣η)ϕ(x)dxA′′(η)=VarP(x∣η)​[ϕ(x)]
$A(\eta)$A(η)的一阶导数是$\phi(x)$ϕ(x)的期望，$A(\eta)$A(η)的二阶导数是$\phi(x)$ϕ(x)的方差，所以对数配分函数$A(\eta)$A(η)是convex function。

极大似然估计与充分统计量

求$\eta_{MLE}$ηMLE​，$D=\left\{ x_1,x_2,...,x_N\right\}$D={x1​,x2​,...,xN​}，通过最大似然估计MLE：
$\eta_{MLE}=\arg\max \log P(D|\eta) \\=\arg\max \sum_{i=1}^{N}\log P(x_i|\eta) \\=\arg\max \sum_{i=1}^{N}\log[h(x_i)\exp(\eta^T\phi(x_i)-A(\eta))] \\ \propto \arg\max \sum_{i=1}^{N}(\eta^T\phi(x_i)-A(\eta))$ηMLE​=argmaxlogP(D∣η)=argmaxi=1∑N​logP(xi​∣η)=argmaxi=1∑N​log[h(xi​)exp(ηTϕ(xi​)−A(η))]∝argmaxi=1∑N​(ηTϕ(xi​)−A(η))
对$\eta$η求偏导：
$\frac{\partial{}}{\partial{\eta}}( \sum_{i=1}^{N}(\eta^T\phi(x_i)-A(\eta))) \\=\sum_{i=1}^{N}\phi(x_u)-NA'(\eta) \overset{set}{=}0$∂η∂​(i=1∑N​(ηTϕ(xi​)−A(η)))=i=1∑N​ϕ(xu​)−NA′(η)=set0
那么有：
$A'(\eta_{MLE})=\frac{1}{N}\sum_{i=1}^N\phi(x_i)$A′(ηMLE​)=N1​i=1∑N​ϕ(xi​)
只要求出$A(\eta)$A(η)的一阶导师再求反函数即可得出$\eta_{MILE}$ηMILE​的极大似然估计值。

从最大熵角度看指数族分布

信息量的定义为：$-\log P$−logP
熵的定义为：
$E_{P(x)}[-\log P]=-\int P(x)\log P(x)dx，连续分布 \\=-\sum_x P(x)\log P(x)，离散分布$EP(x)​[−logP]=−∫P(x)logP(x)dx，连续分布=−x∑​P(x)logP(x)，离散分布
并且有：没有任何已知的情况下，均匀分布的熵最大这一性质。

所以由最大熵可推出$P(x)$P(x)满足指数族分布。

参考资料

1、机器学习白板推导
2、指数族分布