统计学习方法（十）：隐马尔可夫模型

生成模型，简称HMM
HMM主要涉及：状态量和观察量（取球问题中，状态量为从哪个袋子里拿球，观察量为取到了什么颜色的球）
HMM的参数：
- 状态转移矩阵，也就是从t时刻的i值转移到t+1时刻的j值的概率矩阵。
- 观测概率矩阵，也就是在t时刻状态为i时得到观测值为o的概率矩阵。
- 初始状态概率，由于状态和观测都涉及由一个量推一个量，所以总有一个开始的量，在这里将状态的所有初始取值概率视为初始状态概率。
HMM主要涉及三个问题：
- 概率计算问题，由以上三个参量求出出现某种观测序列的概率。
- 学习参数问题，由已知的观测序列，来估计参数的值。
- 预测问题，由已知的观测序列，来估计最有可能的状态序列。
问题一：
- 有前向算法和后向算法，利用条件概率简化公式，在利用迭代简化计算
问题二：
- 运用EM算法
问题三：
- 递推