1.定义

一个可数的离散状态集合$S$S,对任意$i_0,i_1,...,i_n\in S$i0​,i1​,...,in​∈S,若其在$n+1$n+1时刻的状态和之前状态的关系是$P(X_{n+1}=i_{n+1}|X_0=i_0,X_1=i_1,...,X_n=i_n)=P(X_{n+1}=i_{n+1}|X_n=i_n),$P(Xn+1​=in+1​∣X0​=i0​,X1​=i1​,...,Xn​=in​)=P(Xn+1​=in+1​∣Xn​=in​),那么我们说状态之间的转移关系 随机过程X是离散时间马尔科夫链。
进一步解释就是说，下一状态只和当前状态有关，和之前的状态无关。

2.表示

1. $p_{ij}(n)=P(X_{n+1}=j|X_n=i),$pij​(n)=P(Xn+1​=j∣Xn​=i),一步转移概率
2. $p_{ij}^k(n)=P(X_{n+k}=j|X_n=i),$pijk​(n)=P(Xn+k​=j∣Xn​=i),k步转移概率
3. $p_{ij}(n)=p_{ij}(n+1)=p_{ij}(n+2)=\cdots,$pij​(n)=pij​(n+1)=pij​(n+2)=⋯,齐次马氏链，转移概率不随时间发生变化
4. 转移矩阵
   设状态为$\{0,1\},${0,1},从0转移到1的概率为p，从1转移到0的概率为q,那么可以得到矩阵
   $\left[\begin{matrix}p&1-p\\q&1-q \end{matrix}\right]$[pq​1−p1−q​]其中行代表当前状态，列代表下一时刻状态

3.例题

3.1例一

求其一步转移概率矩阵。
解：设第i个个体产生的后代数为$\xi_{i}，$ξi​，那么我们可以得到$P(\xi_i=k)=p_k$P(ξi​=k)=pk​一步转移概率为$p_{X_nX_{n+1}}(n)=P(\xi_1+\xi_2+\cdots+\xi_n=X_{n+1})$pXn​Xn+1​​(n)=P(ξ1​+ξ2​+⋯+ξn​=Xn+1​)

3.2例二

证明：