EM算法的推导
0. Jensen不等式
这里不做证明，只列举下文要用到的结论
对在
上为凸函数，即
时，
有，当且仅当X为常量时去等号（即a=b）
1. EM推导
设样本集,则似然函数的对数形式为：
当含有隐变量z，则难以用MLE对计算。
加入隐变量后，
此时加入Q函数，作为z的某个分布,
因此我们通过不断调整参数与变量z，使J不断逼近
E步:
固定，调整Q，使
（可以证明）。
有0节的取等条件可以得到，此时，
对等式变换：
故
M步：
固定，计算
：
参考：
[1] http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html