谷歌DeepMind新模型放大招：机器人看视频自学扔沙包，连中7次

机器人前瞻（公众号：robot_pro）

作者 | 刘俐杉

编辑 | 许丽思

机器人前瞻10月14日报道，今天，Google DeepMind正式上线通用物理推理模型Gemini 4 Argon。

同时，Google DeepMind还在X平台上发布了一段与Apptronik Apollo人形机器人合作的演示视频。

视频中，团队仅让Gemini 4 Argon观看了一段视频，展示了一段“将沙包掷进洞口”的示范动作，随后由Gemini 4 Argon指导Apptronik Apollo人形机器人不断练习、模拟掷沙包这一动作。机器人不断挥舞着手臂，在错误中积攒经验，调整动作，最终Apollo在掷沙包时连续投中了7次。

▲机器人掷沙包

Argon作为一种通用物理推理模型，具备视觉语义推理、物理理解和代码生成能力，这些能力可以用于机器人研发的多个环节，包括机器人控制、仿真环境构建、物理数据分析和动作优化。

简单来说，Argon不仅能够看懂机器人眼前的环境，还能够理解物体之间的位置关系、机器人运动和接触后会发生什么，并据此决定下一步怎么做。

Apollo掷沙包的视频显示，Argon通过观察示范视频，反复尝试投掷，发现沙包接触木板会反弹，及时调整动作，最终投进洞中，完成任务。

为测试模型性能，研究团队通过ERQA基准来测试模型理解和解决三维环境中物理与空间问题的能力。在纯推理模式下，该模型的得分达到87%。

▲ERQA基准测试得分

一、先在仿真中练习，再在任务中验证

在机器人控制方面，Gemini 4 Argon展示了三类能力：借助仿真环境学习操作技能、零样本控制机器人完成任务，以及通过持续观察和调整来引导世界模型中的动作。

1. 通过MuJoCo仿真练习，让四足机器人将易拉罐扔进垃圾桶

技术博客中展示了Argon控制一台波士顿动力Spot四足机器人的案例。

该机器人配备12个自由度的腿部机构和6自由度的机械臂。Argon能够让机器人用搭载的机械臂将地上的易拉罐捡起，用脚踩下垃圾桶踏板后，将易拉罐对准桶口扔进去。

▲Spot学习使用脚踏式垃圾桶

在控制真实机器人前，Argon先使用MuJoCo模拟器，构建了一个具有关节结构的脚踏式垃圾桶数字孪生，并在仿真环境中练习相关动作，包括踩下踏板、保持身体平衡、将易拉罐对准打开的桶并投入等。

完成仿真练习后，系统再将学到的动作应用到真实机器人上。

2. 具备零样本控制能力

在另一个案例中，Argon控制一条机械臂，完成了两项连续操作：先将一只倒下的马克杯扶正，再把一团揉皱的餐巾纸放入杯中。

▲机械臂执行任务

在执行任务的过程中，Argon 利用视觉坐标框架和预定义的动作原语进行推理，并通过多轮交互逐步完成操作。

这一案例体现出该模型的零样本控制能力，无需针对该任务专门训练，模型就能通过视觉信息和动作原语完成操作。

3. 在Omni演示中控制机器人完成任务

在Gemini Omni世界模型的演示中，Argon引导机器人，将五块散落的拼字游戏字母牌（G、R、A、N、O）重新排列成一行，按顺序拼出 A – R – G – O – N。

Argon采用视觉闭环方式持续调整控制过程，反复检查生成过程中的关键画面，根据中间结果调整带时间戳的动作提示词，再逐步引导机器人完成排列任务。

▲Argon引导机器人进行字母排列

二、不同视角视频、手绘草图，都能生成仿真环境

对于机器人研发来说，搭建仿真环境往往需要人工建模、设置物理参数，并反复校准仿真与现实之间的差异。Argon展示的Real2Sim能力，让机器人能够直接识别场景中的物体，提取相关信息，构建仿真环境，并在仿真中验证任务完成效果。

1. 从机器人视角重建仿真环境

研究团队可以提供给Argon一段机器人遥操作的视频，该模型可通过观察机器人的真实操作过程，构建数字孪生。

▲Argon构建数字孪生

Argon会识别场景中的物体，获取或生成仿真资产，并调整物体外观，使仿真环境尽可能接近真实场景。

随后，Argon通过反复进行视觉推理，调整仿真物体的资产参数和场景设置，使仿真画面以及灵巧手接触时的物理行为，尽可能匹配真实记录。

2. 从人类视角重建仿真环境

Argon还可以从人类第一人称视角的操作视频中，提取和识别与任务相关的信息。

例如，在涉及凹形容器等物体的操作任务中，该模型会将粗略的边界框替换为经过凸分解处理的复合网格，以更准确地表示物体的几何形状。

▲从人类视角到仿真

随后，Argon 将视频中人类手部的运动轨迹迁移到一台双臂人形机器人上。

该机器人拥有76个自由度，其中配备的双手各有22个自由度，均为五指灵巧手。整个过程在MuJoCo的接触物理仿真环境中完成。

3. 手绘草图后生成仿真环境

除以上两种情况外，开发者甚至只需拍摄一张简单的纸笔草图，即可让Argon自动生成对应的仿真场景。

例如，草图展示了一台Apollo 2人形机器人沿抛物线轨迹投掷球，并击倒桌面上按“3-2-1”方式堆叠的盒子。

Argon可以自动构建基于GPU加速的mujoco_warp仿真场景，并生成一条协调平衡的全身运动与五指投掷轨迹。

随后，Argon在闭环物理仿真中验证投掷效果，成功击倒全部6个目标盒子。最后，它还会导出由Blender 4.5 Cycles渲染器生成的图像。

▲机器人沿抛物线轨迹投掷球

三、分析操作过程，判断任务进展

机器人完成任务，不代表执行过程中的每个动作都有效。如何识别操作失误、判断任务进度，并据此筛选训练数据，是机器人模型开发中的另一项工作。

1. 将操作视频拆解为多层级事后标注体系

Argon具备对灵巧操作进行精细物理分析的能力，可以从视频中生成详细的分割结果和文本标注。

它还能识别质量较差的操作片段，例如操作停顿、抓取不稳和操作失误等情况。

例如，在折纸任务中，团队提供了一段时长为136秒的视频，视频记录了一台双臂ALOHA 2机器人，将一张方形纸折叠成一只折纸狐狸的全过程。

▲折纸任务

Argon会生成一套与视频时间轴对齐的四级事后标注体系：

任务目标G1：明确整段操作最终要完成什么。

语义子任务G2：将整个过程划分为6个连续的语义子任务。

原子操作G3：进一步拆分为17个以接触动作为核心的原子操作。

质量控制QC：自动调整数据权重，使机器人发生操作失误或反复尝试时，标注的任务进度保持不变。

这套标注方法可以记录机器人完成任务的过程，并区分有效操作与低质量操作数据。这也让机器人能够更高效地进行任务技能学习。

2.仅靠视觉信息，完成“12球天平谜题”

在另一项仿真任务中，为了让机器人解决经典的“12球天平谜题”，Argon在MuJoCo中构建了一个双臂Franka FR3仿真环境，其中包含12个外观完全相同的台球，以及一个带有两个托盘、能够活动的罗伯瓦尔天平。

这12个球中，有一个球的重量与其他球不同，但它可能更重，也可能更轻，任务要求系统找到这个球。

Argon随后编写了一套仅依赖视觉信息的闭环求解程序。程序首先利用双目RGB摄像头确定各个球的位置，再通过视觉识别判断每次称量后天平的倾斜方向。

通过逐步缩小范围，机器人在不超过3次称量的情况下找出异常球，并将其放入对应的托盘：红色托盘代表较重的球，蓝色托盘代表较轻的球。

▲机器人在仿真中找出异常球

3. 用价值函数对任务进度进行评估

Argon还可以用于构建面向机器人任务的通用价值函数，以评估当前操作状态以及任务的完成进度。

在一段来自人类UMI数据集的60秒双手分拣圆环任务中，Argon会反复检查同步采集的头部摄像头、左夹爪摄像头和右夹爪摄像头画面，重点分析物体接触状态发生变化前后的过程。

▲价值函数，同步播放 UMI 数据中的三路摄像头画面

基于这些观测，Argon 会生成密集的价值函数和任务进度预测，并将整段操作轨迹划分为28个片段。每个片段都对应任务进度的正向变化、保持不变或负向变化，从而更细致地评估每一步操作对任务完成的实际贡献。

四、通过仿真和反复实验，优化机器人表现

在机器人研发中，搭建仿真场景、设计控制程序、采集训练数据和反复调整模型往往需要大量人工投入，而Argon可以通过仿真环境生成数据，并通过自我改进优化机器人的任务表现。

1. 在仿真中生成训练数据优化动作表现

Argon能够在仿真环境中生成新的训练数据，提升通用视觉-语言-动作（VLA）模型的性能。

在抓取任务中，研究人员只需提供一张真实桌面的RGB照片，Argon就能自主构建经过参数校准的MuJoCo仿真环境，设定新的任务，并生成闭环运动控制程序。

在仿真中，它可以采集4500余段经过域随机化处理的训练轨迹。

通过这种方式，真实机器人在物理环境中的任务成功率从56%提升至75%，任务完成时间也从35秒缩短至24秒。

▲真实机器人评测结果得到提升

2. 利用自我改进优化视觉抓取与放置

在一条六自由度的机械臂上，Argon还展示了视觉抓取与放置任务中自我改进的能力，该模型通过反复试验和自我反思，持续优化抓取与放置任务的执行速度和放置精度。

在O-101视觉引导抓取与放置任务中，第一次迭代耗时58.9秒；第二次缩短至22.9秒，但放置时擦到了盒子边缘；第三次进一步缩短至17.4秒，并将物体准确放在盒子正中央。

3. 只需接收单条提示词，在MuJoCo WebAssembly中自动复现机器人研究成果

Argon展示了自动复现机器人控制研究成果的能力。

对于每篇机器人研究论文，Argon只需接收一条提示词，就能读取论文正文及其公开的模型检查点，并将论文中的物理模型和闭环控制器迁移到MuJoCo WebAssembly浏览器实验环境中。

它能够处理多种控制方法，包括《DeepLoco》中的七网络分层运动控制、《HUSKY》中以50Hz运行的近端策略优化（PPO）控制器，以及《Whole-Body MPC》中的Web Worker版迭代线性二次调节器（iLQR）。

最后，Argon还会在无图形界面的Chromium浏览器中运行测试，验证复现结果。

结语：不仅是理解任务，更参与到机器人技能开发中

过去，通用模型与机器人结合，更多体现在理解指令、拆解任务、指导机器人完成动作。

而此次Google DeepMind正式上线Gemini 4 Argon，值得关注的是，Argon已经开始理解机器人要做什么，并且向机器人技能开发的更多环节延伸。面对任务，模型构建仿真环境，让机器人在仿真中生成动作轨迹和训练数据，分析执行过程中的成功与失败，并尝试通过新数据和反复试验改善动作表现。

Argon展现的能力说明，目前该模型已开始尝试承担更多建模、分析和自我优化的工作。

不过，现阶段公开展示的案例仍包含大量仿真任务和特定实验设置。机器人在仿真环境中的新技能开发，最终还需回到真实世界进行长期检验。