一、课程内容

2.基于表格型方法求解RL

2.1 MDP、Q表格

强化学习的基本思路来源于马尔科夫决策过程Markov Decision Process（MDP）：

在设计强化学习方法中，model-free和model-based的区别主要在于是否对policy和reward有预先建模：

根据不同场景，reward函数可能会有所不同：

比如救护车场景，是有尽头的，每闯一个红灯，时间上收益差不多，那么reward可以加起来：

比如股票场景，是没有尽头的，越远的收益越没有价值，那么就可以给未来的reward加一个折算因子gamma：

下面以gym中的悬崖环境Cliff为例（走一步-1，掉到悬崖-1000，S起点，G终点），

一次行走，不同gamma值对reward的影响：

这样每个坐标都可以建一个Q值的表格：

基于这个表格，就可以设计SARSA、Q-learning、DQN等常见的value-based的RL方法。

2.2强化概念、TD更新等

先举个例子，人的推理，其实是一层一层的，熟悉了一个概念后，很可能很快推导到下一个结论，这个就和Q表格非常相似。

斯坦福有个入门的gridworld的强化学习demo，做的非常好，用的就是Q表格，大家可以试一下：

下面讲讲时间差分Temporal Difference（TD）的概念：

MDP问题的求解，可以等所有动作结束后，用动态规划来求解。但是如果State，action，reward等都没有尽头，需要一直持续，该怎么办呢？这时候可以用TD算法，好处是每一步都可以更新：

百度paddlepaddle强化学习团队的PARL框架把这个agent的方法抽象为了sample，predict、learn3个环节，还是非常好的，可以适用于几乎所有强化学习算法。

2.3SARSA算法介绍

SARSA是一种on-policy的算法，即采样预测和学习的时候都用了e-greedy：

展开来看则更方便理解：

e-greedy就是解决RL中exploration和exploitation平衡的问题的一种方法：

整体SARSA的算法流程图如下：

在Cliff环境中，SARSA学到的最终结果，小乌龟会学到远离悬崖的一条路线，这主要是因为e-greedy有一定几率会让小乌龟掉进悬崖，带来很大的-reward。因此远离悬崖更为保险。

2.4Q-learning算法

Q-learning算法和SARSA算法非常相似，只不过是off-policy的，即采样预测和学习的策略不一样，只在采样预测过程中有e-greedy，学习过程中的target则没有，是直接选择maxQ值的。

展开来更方便理解：

整体的流程图如下：

Q-learning应用于Cliff环境中，则会学到一个靠近悬崖的最短路线：

On-policy和Off-policy的区别、优劣：

最后总结一下第2课的内容：