极大似然与最大期望EM
https://zhuanlan.zhihu.com/p/36331115
极大似然估计，是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，通过若干次试验，观察其结果，利用结果推出参数的大概值。用一句话概括就是：知道分布结果，反推分布的参数θ。
注意：EM算法和极大似然估计的前提是一样的，都要假设数据总体的分布，如果不知道数据分布，是无法使用EM和极大似然估计算法的
最大期望算法（ Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻
找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。
1.2.2 EM 算法
这个时候，对于每一个样本或者你抽取到的人，就有两个问题需要估计了，一是这个人是男的还是女的，二是男生和女生对应的身高的正态分布的参数是多少。这两个问题是相互依赖的：
- 当我们知道了每个人是男生还是女生，我们可以很容易利用极大似然对男女各自的身高的分布进行估计。
- 反过来，当我们知道了男女身高的分布参数我们才能知道每一个人更有可能是男生还是女生。例如我们已知男生的身高分布为
， 女生的身高分布为 ， 一个学生的身高为180，我们可以推断出这个学生为男生的可能性更大。
但是现在我们既不知道每个学生是男生还是女生，也不知道男生和女生的身高分布。这就成了一个先有鸡还是先有蛋的问题了。鸡说，没有我，谁把你生出来的啊。蛋不服，说，没有我，你从哪蹦出来啊。为了解决这个你依赖我，我依赖你的循环依赖问题，总得有一方要先打破僵局，不管了，我先随便整一个值出来，看你怎么变，然后我再根据你的变化调整我的变化，然后如此迭代着不断互相推导，最终就会收敛到一个解（草原上的狼和羊，相生相克）。这就是EM算法的基本思想了。
EM的意思是“Expectation Maximization”，具体方法为：
- 先设定男生和女生的身高分布参数(初始值)，例如男生的身高分布为 ， 女生的身高分布为 ，当然了，刚开始肯定没那么准；
- 然后计算出每个人更可能属于第一个还是第二个正态分布中的（例如，这个人的身高是180，那很明显，他极大可能属于男生），这个是属于Expectation 一步；
- 我们已经大概地按上面的方法将这 200 个人分为男生和女生两部分，我们就可以根据之前说的极大似然估计分别对男生和女生的身高分布参数进行估计（这不变成了极大似然估计了吗？极大即为Maximization）这步称为 Maximization；
- 然后，当我们更新这两个分布的时候，每一个学生属于女生还是男生的概率又变了，那么我们就再需要调整E步；
- ……如此往复，直到参数基本不再发生变化或满足结束条件为止。
1.2.3 总结
上面的学生属于男生还是女生我们称之为隐含参数，女生和男生的身高分布参数称为模型参数。
EM 算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含参数（EM 算法的 E 步），接着基于观察数据和猜测的隐含参数一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。由于我们之前的隐含参数是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。我们基于当前得到的模型参数，继续猜测隐含参数（EM算法的 E 步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。
一个最直观了解 EM 算法思路的是 K-Means 算法。在 K-Means 聚类时，每个聚类簇的质心是隐含数据。我们会假设 K 个初始化质心，即 EM 算法的 E 步；然后计算得到每个样本最近的质心，并把样本聚类到最近的这个质心，即 EM 算法的 M 步。重复这个 E 步和 M 步，直到质心不再变化为止，这样就完成了 K-Means 聚类。
Z= Coin A 有：
pow(0.6, 5)*pow(0.4, 5) / [pow(0.6, 5)*pow(0.4, 5) + pow(0.5, 5)*pow(0.5, 5)]
= 0.07776*0.01024/(0.0007962624 + 0.0009765625)
= 0.45
0.5^5 * 0.5^5 = 0.5^10
pow(0.6, 9)*pow(0.4, 1) / [pow(0.6, 9)*pow(0.4, 1) + pow(0.5, 10)] = 0.80
0.45*5 = 2.2, 0.45*(10-5)=2.2;
0.80*9 = 7.2, 0.8*(10-9) =0.8;
http%3A//ai.stanford.edu/~chuongdo/papers/em_tutorial.pdf