机器学习理论 || EM算法
参考书籍：李航.统计学习方法
视频资料：张志华.上海交通大学.机器学习
李航.统计学习方法主要介绍在离散的情况下EM算法的推导，张志华则介绍了连续情况下的EM算法推导，下面笔记则是将两者结合起来。
1、定义
EM算法是求解含有隐变量概率模型的极大似然估计(或极大后验概率)的迭代方法。
2、目标函数
理论的目标函数：
实际求解的目标函数：
推导：
3、步骤
输入：观测变量数据，隐变量数据Z，联合分布，条件分布
输出：参数模型
4、EM算法收敛性证明
单调有界即收敛
证明单调性之前，首先证明
(此部分和统计学习方法有差异，主要根据张志华老师视频得来，该解释结合EM算法的推广更为合理)
最终得
（1） 证明观测数据似然函数为单调增函数，也就是证L函数是单调增函数
（2）只要有上界，则收敛
5、改进（or推广）
GEM算法(以后补充)
6、算法的时间和空间复杂度
（以后补充）
7、问题
1）有上界，EM算法才收敛，并且不一定收敛到全局最优
2）对数似然函数的收敛与参数序列的收敛不一致，上面仅证明了对数似然函数序列的收敛。（详细看《统计学习方法》）
解决办法：选择不同初值进行迭代，比较不同结果取最好的值。
8、应用
- 高斯混合聚类模型(GMM)
- 朴素贝叶斯法的非监督学习模型
- 隐马尔科夫的非监督学习模型