动态系统主要包括以下三种：

1、HMM：隐马尔可夫过程       2、线性动态系统：卡尔曼滤波        3、非线性动态系统：粒子滤波

 

对于HMM（隐马尔可夫模型），常与EM算法联系使用。模型最终转化为求取参数,其中代表初始概率 ，

A代表状态转移矩阵，B代表观测变量。隐马尔可夫模型中状态离散。

 

在动态模型的学习中主要包括以下五个方面：

 

①Decoding:已知观测变量去对应最有可能的隐状态序列：

②Prob of evidence:在已知观测变量样本分布参数的情况下估算整个观测变量出现的概率：

③Filtering:已知目前的时刻为t时刻，我们通过x1,x2,x3...xt这些观测变量来估计t时刻的隐状态概率：

④Smothing:已经得到了x1,x2..xT的全部观测变量，Zt中的t是1,2...t,t+1,T中的某个时刻，利用全部观测变量估计t时刻的隐变量。

⑤Prediction:预测或

 

下面开始介绍动态模型的背景以及主要问题的转化：

1、线性动态模型的线性主要体现在两个方面：

状态转移的线性变化：Zt-1ZtZt+1                   

发射概率的线性变化：Zt-1xt  ; Ztxt+1            

 （注：A、C可以为向量或矩阵，，是高斯噪声，,   ）

状态转移概率可表示为：

发射概率可表示为：       

初始状态：

至此，整个模型转化为一个参数求解的问题：

 

2、卡尔曼滤波就重点关注第③种情况，求

 

   =                   (分母是观测变量可视为定值)

                                        

                            =  

                    根据图中的拓扑关系以及观测变量之间的独立性假设（即数据的获取每次之间独立进行），Xt仅与Zt有关

                             =  

                             =   

                                         该处的第二项成为了⑤预测模型，第三项是全为观测变量，仍可视为定值 

                        

                                 在图中的拓扑关系中，Xt-1与Zt之间是没有联系的， 为此我们将二者建立联系

                                                                         利用边缘概率分布的积分建立联系 

                                        

                             若是推导过概率图模型，可以认为Zt是Zt-1的父节点，其联合概率分布可以按照对应的原则进行分解

注：                                        

                                                

                                   此时公式的第三项和原式形成了迭代关系，而第一项和第二项已经给出了线性方程。

后面如何进行求解模型各种参数，再进行更新。