Reinforce learning: Lecture 1 Introduction to Reinforcement Learning 学习笔记

强化学习是什么？

首先我们先从一个简单的例子开始，大家都知道，当我们刚出生时，对地球的重力规则肯定是一无所知的，但经过摸爬滚打，我们慢慢地学会了走路，这一过程可以简化表示为：我们和地面经过多次的交互，增强了我们的能力。

强化学习主要由以下及部分组成：

• agent: 机器人
• enviroment：环境
• action：agent的行为
• reward: environment 对 action的反馈
  

接下来看看他们一个时刻是如何交互的：
agent:

• 根据当前的状态St$S_t$做出相应的动作，St$S_t$是可观测的状态量的集合
• 根据reward更新网络参数

Enviroment:

• 根据agent的action,计算reward
• 更新St$S_t$

agent 和 enviroment 的交互收敛 意味着 reward 达到了饱和状态。

强化学习特点

相比于其他深度网络，强化特性具有如下特性：

• 属于无监督学习，没有label
• 模型参数更新仅依靠于reward
• reward有延迟

基本概念

• policy 策略，agent的行为即状态空间到动作空间的映射
  
  • 确定过程： π$\pi$(s)
  • 随机过程：π$\pi$(a|s)=P[At$A_t$=a|St$S_t$=s]
• value，价值，衡量当前状态的好坏。
  
  • vπ(s)$v_{\pi }(s)$ = Eπ[Rt+1+γRt+2+γ2Rt+3+...|St=s]$E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s]$
  • γ$\gamma$ 为折扣因子，取值为0~1，表示的是未来几个时刻的reward对当前的状态的影响，也就是网络具有前瞻的功能。
• model，对环境规则的表示
  
  • 预测状态转移概率 Pss′$P_{s{s}^{\prime }}$
  • 预测下一时刻的立即反馈 Rass′$R_{s{s}^{\prime }}^a$

• exploition && exploration

  • exploition 利用学到的模型做出选择
  • exploration 尝试新的选择

• prediction && control

  • prediction 给出一个策略
  • control 选出最优的策略

• learning && plan

  • learning
    
    • 环境规则未知
    • 交互进行学习
    • 提升策略
  • plan
    
    • 环境已知
    • 直接运用model计算