强化学习在船舶中的应用(三)——权衡

因读博问题,投期刊问题,,,耽误了好久,,,意外,,,意外,,,

上次讲到蒙特卡罗与TD学习方法,现在开始讲解决强化学习问题的探索(Exploration)/寻宝(Exploitation trade off)方法。

  1. 探索(Exploration): 用于获取更多的有关环境的信息
  2. 寻宝(Exploitation trade off):尽可能用已知信息,进行利益最大化

 

切记,智能体的目标是预期的累积奖励的最大化。然而,我们可能陷入一个大坑。

强化学习在船舶中的应用(三)——权衡

在这个游戏中,小老鼠附近可以有无限量的小奶酪(每个+1),但是在迷宫的上端有一大块奶酪(+1000)。但是,如果我们过于专注于奖励,轻视探索,小老鼠可能永远不会迟到超大个的奶酪。小老鼠只会满足现状,即使这个奶酪很小(利用)。题外话,,,跟我想跨专业一样哈,人要有点魄力,哈哈!

如果小老鼠不满足现状,进行了一下探索,那么它可能就吃到大个的奶酪,要注意的是很多时候 也可能一无所获,风险与机遇并存。

所以,我们需要进行权衡。而如何进行权衡呢? 我们将在以后的文章中会深入讲解。