EM算法

现实场景，当统计数据时，发现在统计身高时，只记录了身高的数据，但是忘记统计性别是男还是女，这个时候如何估计样本的数据的性别呢？
$\theta$θ:模型参数
$x$x:身高数据
$z$z:隐变量，男或女

关于EM算法的思考：

1. EM算法是否一定收敛？
   结论：EM算法可以保证收敛到一个稳定点，即EM算法是一定收敛的。
2. 如果EM算法收敛，能否保证收敛到全局最大值？
   结论：EM算法可以保证收敛到一个稳定点，但是却不能保证收敛到全局的极大值点，因此它是局部最优的算法，当然，如果我们的优化目标 是凸的，则EM算法可以保证收敛到全局最大值，这点和梯度下降法这样的迭代算法相同。
   EM收敛性证明链接

如果我们从算法思想的角度来思考EM算法，我们可以发现我们的算法里已知的是观察数据，未知的是隐含数据和模型参数，在E步，我们所做的事情是固定模型参数的值，优化隐含数据的分布，而在M步，我们所做的事情是固定隐含数据分布，优化模型参数的值。比较下其他的机器学习算法，其实很多算法都有类似的思想。比如SMO算法（支持向量机原理(四)SMO算法原理），坐标轴下降法(Lasso回归算法： 坐标轴下降法与最小角回归法小结), 都使用了类似的思想来求解问题。

隐马尔可夫模型(HMM)