Astra让机器人开发提速100倍!万字对谈英伟达机器人负责人

机器人前瞻(公众号:robot_pro)
编译 | 周加琦
编辑 | 漠影
机器人前瞻11月18日报道,近日,英伟达机器人与边缘AI副总裁Deepu Talla接受了The Information的采访,他认为GPT-6 Astra的出现,是推动机器人具备多任务处理能力的一项重大突破。

Deepu Talla曾在德州仪器工作超过10年,担任首席架构师等职务。2013年加入英伟达后,他曾负责英伟达移动业务,推动Tegra芯片在智能手机、平板电脑及游戏设备中的应用。
目前,Talla主要负责机器人与边缘AI业务,推动人形机器人、工业机器人、自主移动机器人及工厂自动化等领域的技术应用,并参与Isaac、Jetson等机器人与物理AI平台的发展。
以下是此次访谈中值得关注的五个重点:
1、GPT-6 Astra让机器人仿真环境构建、系统集成等环节的效率有望提升约100倍,但机器人要实现大规模部署,仍需进一步提升准确性、可靠性和安全性。
2、世界模型与VLA将逐步融合,推动世界动作模型的发展。机器人不仅需要生成动作,还需要预测动作执行后物理世界会发生什么变化。
3、未来机器人可能形成System 0至System 3的四层智能架构,分别负责快速动作响应、感知、复杂推理和疑难问题处理,通过机器人本体、边缘及云端算力共同运行。
4、机器人“ChatGPT时刻”可能在未来1至3年内到来,到时无需针对每项任务单独训练,就能完成数百甚至数千种任务。
5、人形机器人可能是研发通用机器人“大脑”的最快路径。因为第一视角数据更容易用于人形机器人训练,现有环境也大多为人类设计。但人形并非是大多数工业任务的最佳选择。
Talla认为,具身智能正进入一个明显加速发展的阶段,Agent、世界模型与仿真技术的进步,正在改变机器人模型的训练和部署方式。不过,机器人距离真正规模化商业应用仍有一段距离,除了提升模型的通用能力,还需要解决可靠性、安全性、成本及实际部署等问题。
机器人前瞻整理了采访实录:
一、Astra带来两个100倍提升,机器人开发与部署加速
Drew:最近,英伟达刚刚在柏林举办了GTC开发者大会,这次柏林之行感觉怎么样?
Talla:柏林非常棒。现场不仅有大量德国企业,也有来自欧洲其他地区的公司。
欧洲很多机器人应用都面向中小型制造企业,这些企业往往专注于精密制造和高度专业化的生产任务。
过去,机器人技术还不够成熟,难以在这些场景中自主工作。因为中小企业的生产任务种类繁多、变化频繁,很难依靠预先编写程序,让机器人适应不同的工作需求。
这就要求机器人具备真正的自主能力。而现在,相关技术正在逐渐成熟,已经开始能够解决这些问题。
Drew:你说的自主能力,是指机器人能够自主完成部署和系统集成,还是指机器人能够自主完成生产任务?
Talla:这里涉及两个方面。首先,机器人的智能水平必须足够高,能够准确、可靠地完成一项或多项任务,同时满足安全性、经济性等要求。
但目前,我们还没有迎来类似2022年11月ChatGPT在数字世界带来的那种突破,也就是出现一个能够理解物理世界、具备通用能力的机器人“大脑”。
现在,全球的研究人员、开发者和实验室都在努力解决这个问题,让物理AI大脑能够更准确地理解物理世界。
其次,即使拥有了足够强大的机器人“大脑”,还需要把它部署到机器人本体上,接入现有工作流程中。
这同样是一项复杂的工作。机器人不仅需要完成自身任务,还要与其他机器人、AI系统以及人类协同工作,很难只靠传统编程解决问题。
因此,机器人部署和系统集成需要根据具体情况进行定制。但大约一个月前,Astra的出现带来了新的转机。
现在,Agent能够调用各种物理AI工具,包括仿真、模型训练和部署工具,并通过反复测试和迭代,帮助机器人模型接入现有工作流程。
因此,必须同时解决两个问题。第一,让通用机器人“大脑”足够准确、可靠和安全;第二,需要把这些能力集成到实际的工作流程中。
Drew:但在美国加利福尼亚,有时会存在一种AI式的傲慢,认为AI就是一切,是唯一重要的事情。你觉得,加州的机器人研究人员有什么值得向欧洲传统制造企业学习的吗?
Talla:我觉得问题不完全在这里,关键还是刚才提到的两个方面。
过去,我们还没有真正解决通用机器人智能的准确性问题,因此也就没有必要大规模解决系统集成问题。而系统集成,本质上就是如何将智能能力应用到更多实际场景中。
幸运的是,今年2月左右,数字世界迎来了Agent AI革命,相关技术发展得非常快。Astra发布时,我们感到非常惊喜。
举个例子,训练机器人“大脑”需要大量数据。物理世界对于准确性的要求远高于数字世界。因此,我们一直在采集大量的真实世界数据。但仅靠这些数据还不够,合成数据自然就成为一种选择。
问题在于,过去要生成合成数据,需要专业美术人员或者借助CAD模型,为各种物体和空间创建准确的3D模型。
即使AI技术已经取得了巨大进步,构建这些模型和环境仍然非常耗时。例如,要为一个场景创建数字孪生环境,即使使用生成式AI,也可能需要几个月。
现在情况发生了变化。以Astra为例,它接受过与物理世界相关的训练,对物理规律以及空间和时间之间的关系,有着较好的理解。
因此,它能够分析物体的属性,在互联网上寻找现有的CAD模型,也可以利用图片或视频构建相应的仿真环境,不一定需要完整、精确的3D扫描数据。
这意味着,过去需要数月才能完成的工作,如今借助Agent,效率提高了约100倍。
有了这种能力,我们就能更快地生成高质量数据,加快模型训练和收敛速度,提升模型的水平。这是我观察到的第一个变化。
第二个观察同样重要,就是机器人的系统集成和部署问题。
比如,你想把机器人部署到工厂。工厂里有各种机器设备,其中一些可能由已经使用了20至30年的可编程逻辑控制器(PLC)控制,而且使用专门的编程语言。
机器人可能还需要与企业资源规划系统(ERP)对接。如果涉及供应链,还需要连接楼宇管理系统等。
那么,谁来编写这些连接不同系统的代码?实际上,编写连接代码是一件相当枯燥的工作,而且真正懂得编写的人并不多。但如果把这些工作交给Agent,它们就能阅读相关操作手册,理解系统之间的连接方式,编写所需的代码。
我认为,这又可能带来100倍的效率提升。可以说,我们现在已经进入了一个与一年前完全不同的发展阶段。
Drew:你觉得Astra为什么突然具备了这么强的能力?为什么它现在能够如此熟练使用CAD、Blender等,并理解物理世界?
Talla:过去三到五年,AI的发展主要集中在语言能力上。随后,视频以及其他传感器数据也逐渐被引入模型。
现在只是进入了下一个发展阶段。简单来说,物理AI是一个巨大的机会。
随着语言和视频理解能力的不断提升,下一步就是把这些能力结合起来,解决涉及空间和时间关系的问题。
我认为,OpenAI在模型训练方面做得很好,让Astra具备了我们所需要的这些能力。
Drew:这两项能力确实能够加速机器人开发和部署。但问题是,这些真的是机器人领域最难解决的部分吗?即使我们利用大语言模型实现了工作的自动化,并将效率提升到极致,是否仍然存在其他障碍?
Talla:要实现机器人规模化部署,相关技术还需要提升几个数量级。
举个例子,在数字世界中,如果一个模型的准确率达到90%或95%,通常已经相当不错了。因为在大多数数字应用场景中,尤其是面向消费级应用,AI提供的更多是建议,最后还会有人参与,弥补剩下5%或10%。
但在物理世界中,90%或95%的准确率远远不够。我们需要考虑的是,准确率达到99%之后,小数点后面还需要多少个9。因为在绝大多数情况下,没有人能随时介入并纠正机器人出现的错误。
从这个角度来看,即使实现了100倍的提升,比如准确率从99%提高到99.99%。虽然很厉害,但仍然不够,还需要继续提升,达到99.9999%,甚至99.999999%这样的水平。
因此,我们还需要经历多次这样的重大技术突破。大语言模型和Agent在仿真环境创建、后期部署方面取得的进展,确实让我们朝着正确方向迈出了一步。但这是必要条件,不是充分条件。
归根结底,仍然需要有人来判断什么是正确的,什么是不正确的。
二、部分机器人应用已跨过技术门槛,大规模部署仍需突破
Drew:你认为五年之后,一家工厂能够以多快的速度实现自动化?
Talla:实际上,开发和测试机器人系统,最好的地方并不是物理世界。因为在真实环境中测试速度慢、成本高,而且可能存在危险。如果方案有问题,我们肯定不希望等到完成部署后才发现。所以,最好的方法就是尽可能在仿真环境中完成开发和测试。
仿真并不是新概念。英伟达本身就是一家芯片公司,在半导体行业,我们使用仿真技术已经超过30年。只有对仿真结果有充分信心,才会将芯片设计交给台积电等晶圆厂流片。芯片制造出来后,几乎都能正常工作。
同样的思路也应该应用于物理AI和机器人领域。随着AI技术的发展,仿真技术也逐渐成熟。英伟达开发了相关工具和加速库,包括用于策略评估和强化学习的Isaac Lab,以及用于构建虚拟环境的Isaac Sim。
现在,我们不仅可以通过仿真生成合成数据,还能将真实传感器接入软件在环或硬件在环测试,评估单个机器人模型,以及多台机器人与数字AI系统之间的交互。
相比真实环境,仿真中能够开展的测试数量可能多出1000倍,甚至100万倍,而且速度更快、更安全、成本更低。所以,要判断机器人能否在工厂中稳定运行、实现规模化部署,就应该尽可能多地在仿真环境中完成测试。
更重要的是,现在Agent已经能够直接调用这些仿真工具。例如,黄仁勋在GTC Berlin主题演讲中展示了一个非常有意思的东西:Micro Ducks。

它们非常可爱,AI模型运行在一台搭载RTX的PC上,通过电脑与Micro Ducks进行通信。它们能遵循指令,就像小孩或者小狗一样。
但真正让我印象深刻是整个演示,从构想到部署用时不到一周。如果放在六个月前,我们根本不可能以这样的速度完成。
之所以能够完成的这么快,就是因为有了Astra。现在,你只需要告诉Agent,“为这些机器人创建一个运行环境”,它就能构建数字孪生环境。接着,再让它把不同物体添加到环境中。
如果是工厂场景,你可以提供工厂的尺寸、照片或视频。如果你有CAD文件,也可以提供。即使只有照片和视频,Agent也能够识别画面中的物体,并根据时空关系,大致判断物体的尺寸、体积等属性,构建仿真环境。
这次演示说明,过去仅仅构建仿真环境就可能耗费很长时间,而现在借助Agent,整个开发和部署过程可能在一周内完成。对于希望提高自动化水平的工厂和仓库来说,这种能力非常重要。
Drew:不过,让一个小机器人四处走动,与让一个机器人达到工业生产要求的可靠性和性能,两者的难度差距巨大。就Micro Ducks而言,是否仍然存在仿真到现实的差距?
Talla:这取决于你对机器人性能、可靠性和准确性的要求。
对于Micro Ducks,我认为98%甚至99%的准确率可能已经足够。比如你让它做一个后空翻,它大致能够完成。
但对于执行重要任务的工业机器人,准确率就需要达到99.99%这样的水平。
所以,问题最终还是回到了模型本身。
如果我们已经能够快速构建仿真环境,并将训练好的模型部署到机器人上,那么接下来最重要的,就是模型究竟能多好地完成具体任务。
在我看来,目前已经有一些应用场景,机器人模型的能力非常接近实际部署所需的水平。
Drew:有多接近?
Talla:对于一名百米运动员来说,要赢得奥运金牌,可能需要跑到9.6秒或9.7秒,但首先需要达到10秒左右的参赛门槛。
我认为,这个“10秒门槛”也可以用来衡量物理AI技术是否已经足够成熟。
自动驾驶就达到了这一门槛。它的应用规模扩大了10倍,而且还在继续增长。
整个行业已经研究自动驾驶大约15年,而过去半年到一年,几项关键技术终于达到了足够成熟的水平,包括具备推理能力的端到端模型,以及能够生成各种极端情况的仿真技术。这些场景在真实世界中几乎不可能全部遇到。
有了合适的合成数据,以及具备推理能力的端到端模型,自动驾驶技术才取得了这样的进展。
但这只是达到了10秒门槛。要实现所有汽车都能自动驾驶的最终目标,还需要进一步提升准确性、可靠性和安全性,并解决法规、公众接受程度和价格等问题。
同样的道理也适用于机器人。机器人有数百甚至数千种应用场景,我们需要判断哪些应用已经接近或者达到10秒门槛。
而最终,则可能是具备精细操作能力、触觉感知、足够力量和低延迟的通用人形机器人。
从现阶段来看,工厂中的自主移动机器人、非道路环境巡检机器人以及配送机器人等,主要涉及移动、导航和将物品从A点运送到B点的任务,已经非常接近10秒门槛,甚至可能已经达到。
再进一步就是操作任务,这可能是机器人最有价值的能力。
目前,很多工业机械臂和协作机械臂已经能够完成刚性物体的抓取和放置。这类物体不容易发生形变,对重量、密度以及施加力和力矩的精确判断要求也相对较低。
因此,包裹拆箱、零件装箱、抓取放置和刚性物体分拣等任务,AI技术已经达到10秒门槛,相关应用也已经在工厂和仓库中部署。
不过,不同机器人应用的成熟度并不相同,需要根据具体任务对准确性和可靠性的要求来判断。
而且,与家庭相比,工厂和仓库可以通过围栏等方式将机器人与人隔离,提高安全性。但在完全非结构化的环境中,就不能依靠这些措施,机器人自身必须具备极高的安全可靠性。
Drew:对于工厂中的机器人来说,除了准确率,是否还需要考虑成本和生产效率?
Talla:没错。
我认为,机器人主要可以承担两类工作。第一类是危险工作,比如长期搬运重物,或者在采矿、石油和天然气勘探等恶劣环境中作业;第二类是单调、重复、容易出错,而且人们不愿意长期从事的工作,比如工厂中反复搬运物品。
过去5到10年,很多工厂、仓库和制造设施已经引入AGV、UGV等自动化设备。这些设备通常按照预设路线运行,比如通过地面二维码导航,还不具备真正的自主能力。
但现在,借助新技术和合适的传感器,这些设备可以升级为自主移动机器人,不再需要对路线进行精确编程,也能够在半结构化或一定程度的非结构化环境中运行。
协作机械臂也是类似的情况。
对于汽车制造等大规模、高产量的生产场景,自动化已经相当成熟,因为生产规模足够大,值得投入资源对机器人进行精确编程。
但对于中小型制造企业来说,传统机器人编程和维护的成本太高。而且,它们处理的通常不是汽车这样重达两三吨的物体,是相对较小的零部件。
这也是协作机械臂能够发挥作用的原因。
Drew:但即使在汽车工厂中,仍然有一些任务尚未实现自动化,你刚才提到协作机器人,通常是什么样的设备?
Talla: 通常是六自由度机械臂,负载能力在5公斤、10公斤或者20公斤左右,可以与人协同完成任务。
Drew:刚才我们谈到了大语言模型如何调用仿真工具、创建仿真环境。除此之外,AI还通过哪些方式改善仿真技术?
Talla:实现通用机器人需要解决的一个重要问题,就是灵巧操作。
人手不仅能够操作刚性物体,也能够处理柔性物体。但要让机器人操作柔性物体,就需要理解相关物理规律,并相对准确地模拟这些物理过程。
直到最近一两年,大多数物理仿真器还主要面向游戏,或者流体动力学等特定任务。对于涉及物体形变、力和力矩感知的复杂物理过程,相关能力仍然不够完善。
这也是为什么去年我们与Google DeepMind、Disney Research合作推出了物理引擎Newton。Newton利用了MuJoCo的相关技术,整合了用于解决通用物理问题的各种求解器。
对于机器人灵巧操作来说,物理仿真非常重要。我们可以在Isaac Lab中结合Newton等物理引擎,开展各种策略评估,例如判断机器人应该采用什么方式来操作物体。
现在,借助Agent,我们能够开展更多实验,也能更高效地构建用于策略评估的仿真环境。
相关工作的效率正在提升一个数量级,甚至两个数量级。
三、VLA与世界模型走向融合,机器人或形成四层智能架构
Drew:Cosmos在其中发挥什么作用?我们之前在节目中已经多次讨论过世界模型,世界模型究竟是如何改进仿真的?
Talla:Cosmos本质上是一个世界基础模型,能够根据某个动作预测未来会发生什么。

要做出预测,就需要进行仿真;要进行仿真,就需要理解为什么要执行这个动作。因此,动作模型只是整个问题的一部分,主要负责生成和执行物理动作。
而像Cosmos这样的世界基础模型,则能够发挥仿真器、预测器以及策略评估工具的作用。
去年年初,最优秀的机器人模型还是VLA。但到了去年年底,大家逐渐意识到,仅靠VLA不足以解决所有问题。
所以,我们需要将世界基础模型与VLA结合起来,这也推动了WAM的发展。也就是说,机器人不仅需要执行动作,还需要知道执行动作之后会发生什么。
我认为,世界基础模型和动作模型最终会逐步融合。它们需要协同工作,也许未来某一天,这些能力会整合到一起。
Drew:今年世界模型的发展势头很猛,相比之下,VLA似乎正在失去热度。
Talla:我不会说VLA正在失去地位。你可以看看我们目前开源的GR00T N1.7模型。它采用视觉语言模型作为前端,动作模型作为后端。
我们未来还会推出新版本,大家可以继续关注。可以合理预期,未来模型的前端可能不再只有视觉语言模型,而是还会加入世界模型。最终,机器人仍然需要将这些理解和推理转化为具体动作。
执行动作的部分可以是VLA,也可以是WAM。但即使是WAM,仍然需要包含视觉语言推理能力。
Drew:你能进一步解释一下这里的前端和后端吗?听起来,语言能力仍然是这些模型的基础,未来也会继续如此吗?
Talla:首先,机器人需要理解任务意图,而任务通常是通过语言指令描述的。因此,模型需要具备通用智能,理解指令的含义以及周围环境的状态。
其次,机器人还需要理解自己所处的三维环境。
例如,你告诉机器人:“拿起那把扳手,把那个套筒拧紧。”这是一条语言指令,机器人需要借助大语言模型理解它是什么意思。同时,它还需要理解周围的物理世界。你说的扳手在哪里?要操作的套筒在哪里?扳手目前是什么朝向?相关的物理条件是什么?最后,当机器人理解了这些信息,并完成推理之后,还需要真正执行动作,向机器人发出抓取扳手的指令。比如,应该抓住扳手的哪个位置?
这其实是连续的过程。人能够很自然地完成这些事情,但我们的大脑实际上也在经历类似的处理过程。如果把这个思路放到机器人上,就是现在大家经常讨论System 1和System 2。
System 1主要负责快速响应和感知,System 2则更像是负责思考的大脑。
但未来机器人的智能系统可能不止这两个层级。System 1的运行频率大约是30至100Hz,类似于人类视觉等感知系统的处理速度。
System 2则负责思考和推理,处理时间可能是几毫秒到几百毫秒,有时甚至需要几秒钟。
对于纯粹的动作执行,可能还需要一个System 0。比如,当你碰到一个非常烫的东西时,你并不会先思考,而是会立即做出反应。
这种反应可能只需要一两毫秒,运行频率相当于1000Hz。因此,未来机器人的关节部位可能也需要具备一定的局部智能。
除此之外,我认为还可能存在System 3。
假设你一直在努力解决某个问题,但始终找不到答案,你会重新开始或者寻求帮助。
这就是System 3。它可以部署在云端,也可以部署在机器人本体或本地服务器上,具体位置并不重要。这个系统可能是一个规模非常庞大的模型,因为它需要具备更强的专业能力。
因此,未来机器人可能会结合这些不同层级的智能系统。
Drew:System 0到System 3是否分别对应不同的计算位置?比如机器人本体上的边缘计算,以及数据中心中的云端计算?
Talla:我认为,System 0最终会部署在机器人关节和执行机构附近。
以通用人形机器人为例,它很可能拥有100个甚至更多执行器。因为现在一只灵巧手就已经有20至25个自由度。未来机器人可能有三只手,我不知道,但至少会有两只。
再加上身体各处的关节,机器人需要控制大量执行器。因此,执行机构附近应该具备一定的局部感知和处理能力,不需要进行太复杂的思考。
System 1也很可能部署在机器人本体上,其运行频率大约为30至100Hz。
这和自动驾驶汽车类似。我们希望汽车自身具备足够的智能,能够相对自主地运行。汽车当然可以连接互联网,但有时可能没有网络连接,或者网络延迟太高。此外,本地运行也可能在监管要求和隐私等方面具有优势。因此,System 1很可能也需要运行在机器人本体上。
System 2既可以部署在机器人内部,也可以部署在附近的本地计算设备上。
你可以想象这样一种情况:工厂内部有一台大型计算机,但机器人本身的计算能力并不强,而这台计算机可以为它们提供智能支持。
此外,云端、电信运营商的边缘计算节点,或者其他附近的计算设施,也可以提供前面提到的“寻求帮助”能力。
未来,不同形态的机器人可能拥有不同的智能能力和机电系统能力,它们需要与数字AI Agent以及人类共同协作。这些系统还需要统一协调,因为不同AI系统的能力也各不相同。因此,我们需要在仿真环境中测试各种不同的机器人策略。
所以,未来机器人将采用边缘与云端相结合的混合计算架构,在仿真环境中进行大量计算和测试,再把结果部署到实际机器人上。
Drew:回到刚才讨论的模型架构演进,你认为世界模型和VLA之间的界限也会逐渐消失吗?比如一年之后,还会分别拥有GR00T模型和Cosmos模型吗?
Talla:它们在一定程度上会融合,我们已经开始看到这种趋势。
但机器人本体能够承载的计算能力是有限的。以人形机器人为例,受限于自身重量、尺寸、内部空间、功耗和散热能力,能够部署在本体上的算力有限。
目前,机器人还没有达到通用智能所需的准确性,因此仍然需要更多算力。在解决准确性问题之前,我们需要尽可能通过增加算力来提升模型能力。等到模型能力足够好之后,我们可以再想办法降低成本和功耗。
但如果本体算力不足以满足模型的需求,我们也可以采用另一种方式。比如在工厂内部部署工作站,甚至小型数据中心,为机器人提供计算支持。
目前,大多数VLA模型的参数规模在2B至4B。为什么不是20B或30B?主要原因就是机器人本体的计算资源有限,无法承载这么大的模型。
虽然每一代Jetson计算平台的性能都在大幅提升,但机器人内部能够容纳的算力始终受到限制。因此,未来机器人可能会采用混合计算架构,尽可能在本体上运行所需的智能能力,同时将部分计算任务交给其他设备。
Drew:最近,Physical Intelligence这家AI初创公司推出了用于提供机器人AI模型服务的API。你对此感到意外吗?
Talla:完全不意外。
十多年前,英伟达开始构建机器人平台时,就提出了一个想法:机器人需要三台计算机。
第一台用于数据生成和模型训练;第二台用于仿真测试,基于Omniverse平台,包括Isaac Sim和Isaac Lab;第三台则是机器人本体,负责模型的实际运行。

其中,机器人本体需要具备低延迟、高速度和高性能的智能大脑,连接大量传感器和执行器。未来,一台机器人可能需要连接数十个传感器和100个执行器,同时还要从设计之初就考虑安全性,以及开放的软件和模型。
除了这三类计算平台,英伟达还提供加速库、参考模型和相关工作流程,覆盖数据生成、机器人训练、仿真测试与评估,以及模型运行等环节。
例如,Physical Intelligence正在开发π0.5等机器人模型,也使用了英伟达的训练计算平台和相关工具。模型训练完成后,可以部署在英伟达Jetson计算平台上,也可以选择其他硬件。
如果模型规模较大,就可以通过API提供服务。这就相当于我们前面说的“求助”,让机器人在需要时调用外部模型的能力。
四、机器人ChatGPT时刻或在1至3年内到来
Drew:机器人领域有一种普遍观点,要实现类似ChatGPT的突破,开发能够理解物理世界的通用模型,需要大量数据。但我最近参加了一场会议,你的一位同事提出,整个行业已经积累了大约2000万小时的物理AI数据,也许数据量已经不再是主要瓶颈,你怎么看?
Talla:最初,研究人员主要依靠自己搭建设备采集数据。后来,随着遥操作技术的发展,可以通过人工示范,让机器人利用模仿学习掌握任务。
这些方法确实让模型能力不断提升,但仅靠它们还不够。
因此,第一视角数据变得越来越重要。过去一两年,无论是公开还是私下开展的数据采集工作,很大一部分都采用了这种方式。
至于数据是否足够,我认为,对于折叠衣服、抓取放置等特定任务,当数据量达到一定规模后,继续大量采集相同任务的数据,可能已经无法进一步提升模型的智能水平。
相比重复采集同一任务的数据,更重要的是增加跨任务数据,以及其他相关任务的数据。幸运的是,现在我们不仅能够继续采集真实世界数据,还可以利用Agent生成更多合成数据。
这样一来,从数据采集、标注到生成可用于训练的合成数据,整个流程的效率正在提升约100倍。未来6个月到一年内,我们可能会看到适应性、通用能力和准确性都明显提升的AI模型。
即使模型结构和算法没有发生太大变化,仅仅依靠数据方面的进步,也可能带来显著提升。
Drew:这也是世界模型一个非常好的应用场景。如果机器人在实际部署中出现一次失败,就可以利用世界模型扩展这条数据,比如生成1000个略有不同的仿真场景,让机器人针对这些情况进行训练,提高策略的鲁棒性。
Talla:我认为还可以更进一步。
世界模型不仅能让机器人从失败中学习,还可以提前预测可能发生的失败。
例如,如果我不断移动桌上的水瓶,就能大致判断它什么时候可能掉下去。这是因为我们能够根据物体的属性和当前状态进行推理。
世界基础模型也是如此,它不必等到失败发生后才进行学习,而是可以提前预测潜在的失败情况。这种持续迭代的过程,能够帮助机器人更快地提升能力。
Drew:按照目前的技术发展速度,你认为机器人什么时候能够迎来自己的ChatGPT时刻?
Talla:首先,我想明确一下自己对机器人ChatGPT时刻的定义。
机器人领域的ChatGPT时刻,是指数百甚至数千种应用场景达到之前提到的“10秒门槛”,而且不需要针对每项任务进行专门训练。
如果只是展示10个达到这一门槛的应用,也可以说机器人取得了突破,但这不是我所理解的ChatGPT时刻。
在ChatGPT出现之前,AI模型大多只能解决一两个特定问题。而ChatGPT带来的变化,是模型具备了更广泛的通用能力。
所以,虽然预测不一定准确,但我认为我们距离机器人ChatGPT时刻可能只有几年,也许是一年、两年或三年。
而且,实际进展可能比预期更快,因为技术进步并不总是线性或指数式的,有时会出现阶跃式突破。
比如,Astra的出现,在我看来就带来了约100倍的生产效率提升。现在,这些模型已经能够调用各种工具。我预测,利用现有真实世界数据生成合成数据的规模将出现爆发式增长。
这意味着,未来6个月到一年内出现的机器人模型,其准确性可能远高于目前最先进的模型。
对于我们关注的大多数应用,我相当乐观,认为距离达到技术可用门槛已经不远了。但这只是达到“10秒门槛”,真正实现大规模部署,就相当于赢得奥运金牌。
除了技术本身,还需要解决安全性、可靠性、法规和经济性等问题,具体进展也会因应用场景和地区而异。
Drew:未来客户部署机器人需要投入多少工作?
Talla:如果我们希望机器人实现规模化应用,尤其是进入中小型企业,客户自己需要承担的工作量就必须接近于零。
理想情况下,机器人进入工厂后,用户只需要告诉它要完成什么任务,它就能开始工作。用户完成示范后,机器人背后的数据采集、重新训练等流程都应该自动完成。
也就是说,用户不必关心系统采集了多少数据、进行了多少次训练,只需要告诉机器人哪里做得不对,再示范正确的操作方式,后续的迭代就会自动进行。
Drew:以目前的技术水平,这种方式已经能够实现了吗?还是说,我们仍然需要在持续学习方面取得突破,才能让机器人在工作中掌握新技能?
Talla:Astra已经带来了第一次100倍的效率提升,但可能还需要一两次类似的突破。
不过,距离实现这些能力已经不远了。因为我们已经知道这类技术能够做到什么,也知道接下来可以如何解决问题。
无论是在模型开发前,准备数据、训练出足够好的智能模型,还是在模型达到所需准确性之后完成部署,相关工作的效率都有望进一步提升。
但最终,问题仍然会回到模型本身:它究竟能多好地完成实际任务?现阶段,大量工作仍然需要集中在这一点上。
六、人形机器人或是研发通用“大脑”的最快路径
Drew:但机器人还涉及硬件,实现这一突破是否必须依靠人形机器人?
Talla:如果没有某种人形机器人形态,几乎不可能实现这一突破。
目前,真正具备灵巧操作能力的机器人还很少。如果机器人没有手,就很难具备通用任务处理能力,往往只能完成一两种或者两三种任务。
当然,灵巧手不一定必须安装在人形机器人上,也可以安装在工业机械臂或协作机械臂上。
但我认为,人形机器人是研发通用机器人“大脑”最快的路径。之后,我们可以将这种智能能力迁移到其他机器人形态,并部署到不同环境中。
Drew:为什么人形机器人是实现通用智能最快的路径?是因为第一视角数据与人形结构更加匹配吗?
Talla:数据采集是其中一个原因。
另一个原因是,现实世界中的大部分现有环境都是为人类设计的。物体的摆放位置、高度以及操作范围,基本都符合人体结构,尤其是非结构化环境。
而且,机器人不仅需要解决灵巧操作问题,还需要具备移动和导航能力。拥有类似人类的双腿,就可以在各种环境中移动。
但这并不意味着人形是所有工作的最佳形态。事实上,对于大多数任务,尤其是工业任务,人形机器人可能都不是最佳选择。工业机械臂、协作机械臂和自主移动机器人仍然会长期存在。
不过,在高度非结构化的环境中,比如工厂、仓库的一些特定场景,部署少量人形机器人可能是合理的。如果进一步进入家庭这样的完全非结构化环境,人形机器人可能更有优势。
另外,今天我们谈到人形机器人,通常想到的是身高约五英尺七英寸至五英尺十英寸、体重160磅左右的机器人。
未来新一代的孩子,可能从小就会与一台人形机器人共同成长。
这台机器人也许只有12英寸高,比Micro Ducks稍大一些,关节力矩很小,身体覆盖着柔软的毛绒材料,但拥有一个非常出色的智能大脑,可以随着孩子一起学习和成长。
随着孩子长大,机器人也会改变形态,同时保留过去积累的记忆。因此,未来机器人会出现各种不同的形态,有些可能更偏向社交陪伴。
毕竟,家庭里很少需要机器人一直搬运100磅的重物。如果偶尔需要搬运,可以让另一台机器人来完成。不同形态的机器人最终会有一个共同点,就是必须拥有足够通用、准确和可靠的智能大脑,否则很难真正完成有用的工作。
Drew:人形机器人究竟适合哪些工业场景?
Talla:如果某项任务或者一组任务的工作量足够大,而且其他机器人形态在经济性、可靠性、机电系统性能和生产效率方面更有优势,那么企业肯定会选择其他形态。但对于中小型企业来说,任务更加多样化,单项任务的产量也相对较低。在这些场景中,人形机器人可能会有更多应用机会。
这有点像数码单反相机和智能手机。单反相机在拍照方面可能更出色,专业摄影师会使用它,但大多数人只需要智能手机。
机器人也可能如此。未来通用人形机器人的产量可能超过其他单一机器人形态,供应链也会随之发展,从而降低制造成本。所以,这不是二选一的问题。专用机器人和通用人形机器人会同时存在,具体如何选择需要根据应用场景判断。
Drew:但工业机械臂、四足机器人也可以具备通用能力。比如,工厂可以配置布线、焊接等不同工作单元,再根据小批量、多品种生产的需求灵活调整。为什么一定要使用人形机器人?
Talla:在这种情况下,确实不一定需要人形机器人。
如果能够设计好工作环境,让不同形态的机器人适应多品种生产任务,同时把人形机器人上开发的通用智能能力应用到这些设备上,那么完全可以采用这种方式。并不是每一种应用场景都需要人形机器人。
Drew:最后,我想回到机器人ChatGPT时刻。工业机器人主要面向工厂和仓库,但对于普通消费者而言,你个人最期待哪种机器人应用?
Talla:对我来说,家庭机器人的最终应用可能是社交陪伴机器人。
它能够照顾老人,提供帮助,同时也能成为很好的陪伴者,理解人的需求。这是机器人能够为普通消费者带来的最大价值。它不仅能够完成我们不愿意做的家务,还应该具有同理心,理解我们的想法,并按照我们希望的方式完成任务。
从这个角度来看,家庭机器人真正迎来ChatGPT时刻,可能比工业和仓库场景更晚。后者目前对机器人创造经济价值的需求更迫切。
但从长远来看,我最期待的还是能够提供帮助和陪伴的家庭机器人。要实现通用机器人,我认为有五个最基本的问题需要依次解决:第一是通用任务的准确性;第二是可靠性;第三是安全性;第四是经济性;第五是良好的人机交互体验,不能让人感到不舒服或者害怕。
Drew:那么,社交陪伴机器人会在工业机器人迎来ChatGPT时刻之后出现,还是可能更早?
Talla:两种情况都有可能。
如果你想要一台具备较强物理操作能力的通用家庭机器人,能够搬运物品、帮助人类,同时又足够智能,那么这些能力可能需要先在工业场景中得到解决。
不过,这并不意味着我们必须等到通用家庭机器人的技术完全成熟,才能让机器人进入家庭。
现在已经出现了一些宠物机器人,它们的力和力矩输出能力有限,可能主要采用毛绒外形。就像Micro Ducks一样,它们不能完成太多实际操作任务。但它们可以成为很好的陪伴者,具备大语言模型交互能力和知识库,能够在一定程度上帮助用户。
所以,具备较强操作能力的通用家庭机器人可能需要更长时间才能成熟,而以社交陪伴为主的机器人则不一定需要等待这些技术突破。
Drew:消费者有时对机器人的可靠性要求没有那么高。比如机器人摔倒了,只要足够可爱,用户可能也能接受。但工业机器人通常需要与客户密切合作才能完成部署,这两类场景似乎有很多不同的权衡。
Talla:确实如此,但我的看法恰好相反。
在工业环境中,人类应该尽可能减少与机器人的直接接触。因为这些机器人可能需要搬运重物,执行高强度、高速度的任务。即使人可以与机器人互动,也不意味着一定应该这么做。除非确实有必要,否则双方应该尽量避免相互干扰。
而在家庭中,机器人可能需要帮人拿啤酒、取东西,因此安全性更加重要。机器人能够施加多大的力、产生多大的力矩,都需要考虑。即使只是人不小心绊倒机器人,也可能造成不良后果。
因此,工业机器人和家庭机器人都需要很高的可靠性,只是对可靠性的具体要求不同。
Drew:最后,你还有什么特别想补充的内容吗?
Talla:我记得我们今年3月在GTC大会上也交流过。但在物理AI和机器人领域,那感觉已经是10年前的事情了。因为当时讨论的技术与今天行业取得的成果相比,已经有了天壤之别。
我非常期待接下来的发展。等到明年3月春季GTC大会举办时,我认为今天讨论的很多内容,可能又会让人感觉像是10年前的话题。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”




