谷歌 AI 最新博文:视频模型中的模拟策略学习
科技
科技 > 数码 > 正文

谷歌 AI 最新博文:视频模型中的模拟策略学习

雷锋网 AI 科技评论按,深度强化学习(RL)技术可用于从视觉输入中学习复杂任务的策略,并已成功应用于经典的 Atari2600 游戏中。最近在这一领域的研究表明,即使在像 Montezuma's Revenge 这样的游戏所展示的具有挑战性的探索机制中,它也可能获得超人的表现。然而,目前许多最先进方法的局限之一是,它们需要与游戏环境进行大量的交互,且这些交互通常比人类去学习如何玩得好要多得多。

近日,谷歌 AI 发布了一篇博文,讨论了他们的视频模型中的模拟策略学习模型,雷锋网 AI 科技评论编译整理如下。

解释为什么人们能更有效地学习这些任务的一个假设是,他们能够预测自己行动的效果,从而含蓄地学习一个模型,其行动顺序将导致理想的结果。其一般思想是,建立所谓的博弈模型并用它学习一个选择行为的良好策略,这是基于模型的强化学习(MBRL)的主要前提。

在「基于模型的 Atari 强化学习」中,我们引入了模拟策略学习(SimPLe)算法,这是一个 MBRL 框架,用于训练 Atari 游戏机的代理,其效率显著高于当前最先进的技术,只需要使用与游戏环境的约 100K 交互(相当于真人 2 小时的游戏时间)就能显示出有竞争力的结果。此外,我们已经将相关代码作为 Tensor2Tensor 开源代码库的一部分进行了开源。这个版本包含了一个预训练的 world 模型,可以用一个简单的命令行运行,也可以使用类似于 Atari 的界面来播放。

学习 SimPLe world 模型

总的来说,SimPLe 背后的思想是交替学习游戏行为的 world 模型,并使用该模型在模拟游戏环境中优化策略(使用无模型强化学习)。该算法的基本原理已经很好地建立起来,并在许多基于模型的强化学习方法中得到应用。

SimPLe 的主循环:1)代理开始与真实环境交互。2)收集的观测数据用于更新当前的 world 模型。3)代理通过学习 world 模型更新策略。

为了训练一个 Atari 游戏模型,我们首先需要在像素空间中生成合理的未来世界。换言之,我们试图通过输入一系列已经观察到的帧以及对游戏发出的命令(如「左」、「右」等)来预测下一帧将是什么样子。在观察空间中训练 world 模型的一个重要原因是,它实际上是一种自我监督的形式,其中,观察像素在我们的例子中形成密集而丰富的监控信号。

如果成功地训练了这样一个模型(例如视频预测器),那么一个人基本上拥有一个学习过的游戏环境模拟器,可以选择一系列行动,使游戏代理的长期回报最大化。换言之,我们通过来自 world 模型/学习模拟器的序列对策略进行训练,而不是对来自真实游戏的序列进行策略训练,因为后者在时间和计算量上花费都非常大。

我们的 world 模型是一个前馈卷积网络,它接受四帧数据,预测下一帧以及反馈(见上图)。然而,在 Atari 中,未来是不确定的,因为只知道前面四帧数据。在某些情况下,例如,在游戏中暂停超过四帧的时间、当乒乓球从帧中消失时,都可能导致模型无法成功预测后续帧。我们用一种新的视频模型架构来处理随机性问题,这种架构在这个环境中做得更好,这是受到先前工作的启发。

当 SimPle 模型应用到功夫大师身上时,就会看到一个由随机性引起的问题的例子。在动画中,左边是模型的输出,中间是事实,右边的面板是两者之间的像素差异。

在每一次迭代中,在 world 模型经过训练后,我们使用这个学习过的模型来生成动作、观察和结果的样本序列,使用近端策略优化(PPO)算法改进游戏策略。其中的一个重要细节是,数据采样从实际的数据集帧开始。SimPle 只使用中等长度的数据集,这是因为预测错误通常会随着时间的推移而叠加,这使得长期预测非常困难。幸运的是,PPO 算法也可以从其内部数值函数中学习行动和反馈之间的长期关系,因此有限长度的数据对于反馈稀少的游戏(如高速公路)来说是足够的。

SimPLe 的效率

成功的一个衡量标准是证明模型是高效的。为此,我们评估了模型与环境进行 10 万次交互后的策略输出,这 10 万次交互相当于一个人进行大约两小时的实时游戏。我们在 26 款不同的游戏中比较了我们的 SimPLe 方法和两种最先进的无模型 RL 方法——Rainbow 和 PPO。在大多数情况下,SimPLe 方法的采样效率比其他方法高 2 倍以上。

两个无模型算法(左:Rainbow,右:PPO)所需的交互次数,以及使用我们的 SimPLe 训练方法获得的分数。红线表示我们的方法使用的交互次数。

SimPLe 的成功

SimPLe 方法的结果令人振奋:对于其中两个游戏,Pong 和 Freeway,在模拟环境中训练的代理能够达到最高分数。以下是我们的代理使用我们为 Pong 训练的模型玩游戏的视频:

对于 Freeway、Pong 和 Breakout 来说,SimPLe 可以生成最多 50 步接近像素级的完美预测,如下图所示。

SimPLe 可以做出接近像素的完美预测。在每个动画中,左边是模型的输出,中间是基本事实,右边的窗格是两个动画之间的像素差异。

SimPLe 的惊喜

然而,SimPLe 并不总是做出正确的预测。最常见的失败是由于 world 模型不能准确地捕获或预测小的但高度相关的对象。比如,在 Atlantis 战区,子弹是如此的小,以至于它们往往会消失。

在战场上,我们发现模型难以预测小的相关部分,例如子弹。

结论

基于模型的强化学习方法的主要用在交互成本高、速度慢或需要人工标记的环境中,例如用在多机器人任务中。在这样的环境中,经过学习的模拟器能够更好地理解代理的环境,并能够为多任务强化学习提供更新、更好、更快的方法。虽然 SimPLe 还达不到标准的无模型 RL 方法的性能要求,但它实际上更有效,我们希望将来能够进一步提高基于模型的技术的性能。

如果你想开发你自己的模型和实验,请移步我们的知识库和 colab,在那里你可以找到关于如何使用预先训练过的 world 模型一起重现我们工作的说明。

相关论文地址:https://arxiv.org/abs/1903.00374

via:https://ai.googleblog.com/2019/03/simulated-policy-learning-in-video.html

雷锋网雷锋网

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载