Policy-Based RL

用神经网络近似策略函数$\pi$π


回顾 State-Value Function Approximation
使用策略网络$\pi(a|s_{t};\theta)$π(a∣st​;θ)代替策略函数$\pi(a|s_{t})$π(a∣st​)
对$S$S求期望，消去$S$S，只有$\theta$θ
策略网络越好，$J(\theta)$J(θ)越大。目标：Maximizes $J(\theta)$J(θ)，梯度上升

• Policy Gradient
  假设$Q_{\pi}$Qπ​不依赖于$\theta$θ
  
  （简化了推导，不严谨，易于理解）
  
  两种形式等价
  若动作是离散的，采用Form 1：
  若动作是离散的，采用Form 2：
  A是连续变量，求期望需要求定积分，但$\pi$π函数是个复杂神经网络，无法求定积分，因此采用蒙特卡洛近似。
  由于$g(\hat{a},\theta)$g(a^,θ)是策略梯度的无偏估计，所以可以用$g(\hat{a},\theta)$g(a^,θ)来近似策略梯度，这叫做蒙特卡洛近似。（蒙特卡洛就是抽一个或很多随机样本，用随机样本来近似期望）
  Update policy network using policy gradient
  如何计算$q_{t} \approx Q_{\pi}(s_{t}, a_{t})$qt​≈Qπ​(st​,at​)
  
• Summary