【强化学习笔记】4.3 无模型的强化学习方法-蒙特卡罗算法与重要性采样

异策略与重要性采样

因为异策略中的行动策略和目标策略不一样，也就是说行动策略产生的数据分布与目标策略的数据分布存在偏差，即即行动策略的轨迹概率分布和改善策略的轨迹概率分布不一样，因此在使用数据进行目标策略评估的时候需要考虑该影响，常用的方法是重要性采样。(重要性采样的原理见文末图片)

重要性采样评估目标策略的值函数

在目标策略下，一次实验的概率为：
Pr(St,At,St+1,...ST)=∏T−1k=tπ(Ak|Sk)p(Sk+1|St,At)$Pr(S_t,A_t,S_{t+1},...S_T)=\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)$
在行动策略下，该实验出现的概率为：
Pr(St,At,St+1,...ST)=∏T−1k=tμ(Ak|Sk)p(Sk+1|St,At)$Pr(S_t,A_t,S_{t+1},...S_T)=\prod _{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,A_t)$
因为很难获得明确的目标策略π$\pi$的概率分布，因此使用一个替代分布进行估计，对应为行动策略分布μ$\mu$。因此重要性权重为：
ρTt=∏T−1k=tπ(Ak|Sk)p(Sk+1|St,At)∏T−1k=tμ(Ak|Sk)p(Sk+1|St,At)=∏T−1k=tπ(Ak|Sk)μ(Ak|Sk)${\rho }_t^T=\frac{\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)}{\prod _{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,A_t)}=\prod _{k=t}^{T-1}\frac{\pi (A_k|S_k)}{\mu (A_k|S_k)}$

普通重要性采样的值函数估计为$普通重要性采样的值函数估计为$：
V(s)=∑t∈T(s)ρT(t)tGt|T(s)|$V(s)=\frac{\sum _{t\in T(s)}{\rho }_t^{T(t)}{G}_t}{|T(s)|}$
将上式编程递推的方式：
令wn=ρT(n)n,|T(s)|=n$w_n={\rho }_n^{T(n)},|T(s)|=n$,那么值函数为
V(n)=∑n−1k=1wnGnn$V(n)=\frac{\sum _{k=1}^{n-1}{w}_n{G}_n}{n}$
递推公式很容易获得为：
V(n+1)=V(n)+wnGn−V(n)n$V(n+1)=V(n)+\frac{w_n{G}_n-V(n)}{n}$

加权重要性采样的值函数为$加权重要性采样的值函数为$：
V(s)=∑t∈T(s)ρT(t)tGt∑t∈T(s)ρT(t)t$V(s)=\frac{\sum _{t\in T(s)}{\rho }_t^{T(t)}{G}_t}{\sum _{t\in T(s)}{\rho }_t^{T(t)}}$
令wn=ρT(n)n,cn=∑t∈T(s)ρT(t)t=cn−1+wn$w_n={\rho }_n^{T(n)},c_n=\sum _{t\in T(s)}{\rho }_t^{T(t)}=c_{n-1}+w_n$,那么值函数为
V(n)=∑n−1k=1wnGncn$V(n)=\frac{\sum _{k=1}^{n-1}{w}_n{G}_n}{c_n}$
递推公式很容易获得为：
V(n+1)=V(n)+wncn(Gn−V(n))$V(n+1)=V(n)+\frac{w_n}{c_n}(G_n-V(n))$

代码实现【强化学习笔记】4.4 无模型的强化学习方法-蒙特卡罗算法与重要性采样代码实现

重要性采样（转载https://blog.****.net/minenki/article/details/8917520）

参考书籍：

1. 深入浅出强化学习原理入门