Skild AI发布基于自博弈的后训练成果，让机器人从不会走路到带球过人

机器人前瞻（公众号：robot_pro）

编译 | 刘俐杉

编辑 | 许丽思

机器人前瞻9月24日报道，当地时间9月23日，Skild AI团队发布了一项基于“自博弈（self-play）”的具身智能后训练新成果。

该成果以足球场景为主要展示，从其博客发布的人机足球比赛视频可看出，现场比赛十分激烈，机器人紧盯着脚下的足球，不让对手有接触到足球的机会。

但人类对手在机器人一个“晃神”的瞬间就将足球截走了，机器人反应过来后立刻转身，一路小跑带球，直至将足球踢进框内。从视频中可以看出机器人已学会防守、带球过人、进球等动作。

机器人踢足球并不罕见，此次机器人后训练新成果的重点在于物理世界中的自博弈（physical self-play ）。

此前，机器人基础模型主要基于人类数据进行预训练。该团队上个月发布的机器人基础模型S1也不例外，该模型可以通过上下文示范学习执行任务，这与语言模型通过提示词进行学习的方式类似。

但问题是，机器人无论怎么学习，其知识来源仍限于人类已掌握的能力，能力上限也受制于人类水平。

而自博弈则不同，机器人通过在仿真环境中与自己对弈，不断提升踢足球、防守、进球等能力。随着能力的提升，安排实力更强的对手，直至能与人类对决，甚至超越人类的水平。

研究结果也表明，像S1这样的基础模型，可以通过自博弈，学会完成踢足球这类高度灵巧、动态的复杂任务。

因此，团队对机器人基础模型给出下一步判断，物理世界中的自博弈（physical self-play ）将使机器人突破人类能力上限。

一、用自博弈训练机器人，从不会走路到带球过人

博客中提到的自博弈，即为通过发现训练数据中原本不存在的新策略，并不断训练，让AI能够完成极其复杂的任务，提升自己的能力，从而达到超越人类的水平。

早在语言模型出现之前，自博弈就已经推动人工智能进入了一个新的阶段。

2016 年，AlphaGo击败世界冠军李世石。其中最著名的是第37手，这一步被认为极具“非人类”风格。仅仅开始自博弈三天后，AlphaGo Zero就以100比0击败了最初版本的AlphaGo。之后，自博弈进一步扩展到多人游戏，2019 年，OpenAI Five击败了世界冠军级选手。

但此后，利用自博弈实现持续迭代提升的路线逐渐降温。与此同时，基于可验证奖励的强化学习成为更加简单、也更容易快速落地的方法。

那么在机器人基础模型上，要如何让它进行自博弈？

在训练中，该团队只给模型设定了一个目标：得分。策略将通过与自身近期版本进行对抗，逐渐学会如何得分。

而随着模型能力提升，它面对的对手也同步变强。模型每取得一点进步，就会面对一个更难的对手。

研究团队称，在NVIDIA Isaac Sim中，训练刚开始的几个月里，机器人甚至还不会走路。随着训练不断推进，它已经能够在摔倒后重新站起来。

随后，机器人又在仿真中逐渐学会了带球突破防守、护球以及抢断等动作。

研究团队并没有针对这些行为手动设计奖励函数。模型之所以能够学会这些动作，只是因为这些动作能够帮助机器人进球得分。

团队认为，这次从仿真环境到人形机器人的成功迁移，以及任务本身展现出的高度复杂性，都表明，在迈向物理 AGI的过程中，自博弈可能具有巨大的潜力。

二、足球之后，物理世界的自博弈将走向更多日常任务

那么为什么会选择足球这项运动呢？

原因是，尽管目前已经出现了许多机器人的足球比赛，但机器人的表现仍远低于人类水平。

同时，足球尤其适合作为机器人技术和自博弈的试验平台。因为这项运动要求机器人同时具备身体能力和策略能力。

但自博弈也不会仅仅局限于足球这一个运动。

研究团队透露，目前正在将这一方法扩展到体育运动之外的多种日常机器人任务，下一次发布还将扩大机器人团队的规模，进一步观察在团队协作中机器人会出现哪些新的行为，并且研究将涵盖协同操作、城市级导航等任务。

结语：自博弈打开新方向，但仿真到真实仍是关键一步

从AlphaGo到机器人足球，自博弈展示了一条不依赖人类数据、通过自我对抗持续进化的路径。

但此次训练主要发生在仿真环境中。仿真环境与真实世界仍存在巨大的差距，在仿真中学会的带球突破和抢断，能否在真实世界的草坪上、在真实的对抗中实现，仍有待观察。

自博弈为机器人基础模型提供了一个新方向，但从仿真到真实，仍然需要更多的验证。