状态空间模型(离散)-隐马尔可夫模型数学原理

Hidden Markov Model, HMM.是动态序列模型-离散情况的代表模型。在股票预测和NLP领域都有良好的应用,如:

状态空间模型(离散)-隐马尔可夫模型数学原理

1. Hidden Markov Model - in Mathmatics

状态空间模型(离散)-隐马尔可夫模型数学原理

状态空间模型(离散)-隐马尔可夫模型数学原理

  • 状态转移矩阵 Transition Probability (以股市运转为例)

状态空间模型(离散)-隐马尔可夫模型数学原理

  • 测度分布矩阵 Measurement Probability(以股市运转为例)

状态空间模型(离散)-隐马尔可夫模型数学原理

2. HMM的基本参数、基本问题与数学分离

状态空间模型(离散)-隐马尔可夫模型数学原理

2.1 评估模型 P(Y|λ) : Forward-Backward Algorithm

状态空间模型(离散)-隐马尔可夫模型数学原理

状态空间模型(离散)-隐马尔可夫模型数学原理

状态空间模型(离散)-隐马尔可夫模型数学原理

状态空间模型(离散)-隐马尔可夫模型数学原理

2.2 参数学习模型 P(λ|Y)

首先回顾Maximization-Expectation:

状态空间模型(离散)-隐马尔可夫模型数学原理

在Hidden Markov Model中,我们将Maximization-Expectation公式写成:

状态空间模型(离散)-隐马尔可夫模型数学原理

状态空间模型(离散)-隐马尔可夫模型数学原理

  • 首先优化第一项:

状态空间模型(离散)-隐马尔可夫模型数学原理

  • 其次优化第二项:

状态空间模型(离散)-隐马尔可夫模型数学原理

  • 最后优化第三项:

状态空间模型(离散)-隐马尔可夫模型数学原理