【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布

1.问题描述

【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布

注解:

关心给定初始状态与一步转移概率,求极限步数下的状态为j的概率。为求得n步后处于各状态的概率,只需要用初始概率的矢量与n步转移矩阵相乘即可,所以问题转化为求n步转移矩阵,【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布的极限。

 

2.【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布的极限性态:

【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布

【通俗易懂的通信】马尔可夫过Ⅲ:马尔可夫链的极限性态与平稳分布