机器学习之EM算法

一、EM算法理解基础
Jensen不等式：

相关问题：随机变量无法直接（完全）观察到：
随机挑选10000位志愿者，测量他们的身高，若样本中存在男性和女性，身高分别服从N(μ 1 ,σ 1 )和N(μ 2 ,σ 2 )的分布，试估计μ 1 ,σ 1 ,μ 2 ,σ 2
理解猜测GMM的参数估计：
随机变量X是有K个高斯分布混合而成，取各个高斯分布的概率为π 1 π 2 … π K ，第i个高斯分布的均值为μ i ，方差为Σ i 。若观测到随机变量X的一系列样本x 1 ,x 2 ,…,x n ，试估计参数π，μ，Σ
目标函数建立：
对数似然函数：

估算数据来自哪个组分：

估算每个组份的参数：
对于所有的样本点，对于组份k而言，可看做生成了 这些点。组份k是
一个标准的高斯分布，利用上面的结论：

二、EM算法

EM算法：

最大似然估计建立目标函数：

z是隐随机变量，不方便直接找到参数估计。计算策略：计算l(θ)下界，求该下界的最大值；重复该过程，直到收敛到局部最大值；
Jensen不等式：


EM算法整体架构：

E-step：

M-step:

均值求偏导：

多项分布参数：
考察M-step的目标函数，对于φ，删除常数项：

由于多项分布的概率和为1，建立拉格朗日方程：