Deep Q-learning
https://www.bilibili.com/video/av16921335?p=14
DQN
两种模型
- 状态和动作作输入，得到动作的Q值
- 状态作输入，所有动作的Q值作输出，选择Q值最大的对应的动作作为接下来要做的动作。
- 作业是第二种
神经网络的更新
DQN强大的根本原因
- DQN有记忆库用于学习之前的经历
- Q-learning是一种off-poilcy的离线学习法，可以学习当前经历着的，也可以学习过去经历过的，甚至可以学习别人的经历。
- DQN更新时，每次随机抽取一些之前的经历进行学习。随机抽取可以打乱经历之间的相关性，也使得神经网络更新更有效率。
- Fixed Q-targets是一种打乱相关性的机理。
- 使用fixed Q-target，我们在DQN中使用两个结构相同但是参数不同的神经网络，预测Q估计得网络有最新的参数，预测Q现实的参数是很久以前的。