蒙特祖玛的复仇游戏中的强化学习、OpenAI 和 DeepMind

mitaromana2024@

DeepMind 和 OpenAI分别宣布，他们已经训练出能够击败 Atari 游戏《蒙特祖玛的复仇》第一关的强化学习代理。 知道已经有代理在很长一段时间内超越了某些雅达利游戏的所有水平，甚至比人类专家玩家还要好，这似乎并不是什么太重要的消息。但确实如此，因为《蒙特祖玛的复仇》与其他作品有很大不同。以至于它被认为是强化学习的巨大挑战之一。 《蒙特祖玛的复仇》游戏中的强化学习 如果奖励足够频繁，以至于选择随机动作的代理以合理的概率获得奖励，那么强化学习算法通常会很好地发挥作用。这是因为，在这些情况下，奖励系统会强化一开始随机的行为。蒙特祖玛的复仇与其他雅达利游戏的不同之处在于，在完成一定顺序的任务后，分数偶尔会增加。通过这个例子我们会更好地理解它。为了让计分板在第一关开始时增加分数，需要： 走下一些楼梯 抓住绳子在两个平台之间跳跃 走下另一个楼梯 跳到移动的敌人身上 爬上另一个梯子并 终于拿到钥匙了。

就操作或必须按下才能到达 塞内加尔电话号码表 的按钮而言，需要100 个按钮的特定序列，您必须通过这些按钮找到所有可能的组合。要完成第一层，你还必须穿过 23 个这种风格的房间。此外，还有许多情况会导致死亡，例如从高处坠落。 因此，一些出版物的作者使用的方法是基于从人进行的示例或演示中学习。 DeepMind的强化学习提案 DeepMind 提出了一种让强化学习代理从由专家玩游戏的 YouTube 视频中学习玩游戏的方法。当代理获得钥匙时，他们不会获得单一分数的增加，而是在通过从这些视频获得的地图上的某些点时获得小额奖励。 该出版物的作者通过几个步骤解决了从视频中学习的问题： 他们建立了一个模型，给定两个帧，预测它们之间经过了多少时间。 他们建立了另一个模型来学习视频游戏的声音和视觉观察之间的关系。这是有道理的，因为通常，当我们玩游戏机时，发生重要事件时会发出声音。通过这种方式，模型可以自行学习识别与游戏相关的动作。 强化学习代理经过训练，每次达到我们提到的那些重要框架之一时都会获得奖励。 在 DeepMind 最近发表的另一篇文章中，提出并测试了一系列针对代理学习的理论改进。





这些创新有助于智能体更好地估计地图上每个点的动作好坏。 然而，当使用《蒙特祖玛的复仇》测试这些改进时，他们再次需要人类玩家演示的帮助，因为没有它，智能体仍然无法学习。没有示例的情况下，它保持在2000点，而有演示的情况下，它达到了38000点。 OpenAI 结果：智能重启 DeepMind 结果发布几周后，OpenAI 分享了一篇文章 ([3])，其中他们展示了如何成功训练一个代理，该代理也通过了该游戏的第一级，再次使用人类演示，但有些许改进不同的方法。 特工首先从钥匙旁边开始，可以采取任何他想要的行动，直到他拿到钥匙或死亡。游戏在同一点再次开始，直到智能体有 20% 的概率获得钥匙为止。 然后，屏幕重新启动，特工距离钥匙稍远一点，在楼梯的中间，他们再次让他自由，根据需要重复该游戏多次，以使特工在 20% 的时间内到达钥匙。每次重新启动游戏时，智能体都会从稍远的位置开始，直到从屏幕的开头开始。 通过将智能体放置在正确的学习阶段的正确位置，OpenAI 研究人员使用与训练玩 Dota2 的智能体相同类型的算法，获得了 74,500 分。该策略之所以有效，是因为通过智能地启动代理，代理必须探索以获得奖励的情况数量就会减少。