蚂蚁百灵大模型最新进展：已具备原生多模态能力

凤凰网科技讯（作者/董雨晴）7月5日，在2024世界人工智能大会期间，蚂蚁集团公布了其自研的百灵大模型最新研发进展：百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。

据了解，原生多模态被认为是通往AGI的必经之路，在国内，目前只有为数不多的大模型厂商实现了这一能力。

记者从大会现场的演示看到，多模态技术可以让大模型更像人一样感知和互动，支撑智能体体验升级，百灵的多模态能力已应用于“支付宝智能助理”上。

据透露，百灵大模型多模态能力，在中文图文理解MMBench-CN评测集上目前可达到GPT-4o水平。

基于百灵大模型多模态能力，蚂蚁集团正在探索规模应用落地产业的实践，如本次同期发布的“支付宝多模态医疗大模型”，添加了包含报告、影像、药品等多模态信息在内的百亿级中英文图文、千亿级医疗文本语料。

“从单一的文本语义理解，到多模态能力，是人工智能技术的关键迭代，而多模态技术催生的‘看听说写画’的应用场景，将让AI的表现更真实，更接近人类，从而也能更好地服务人类。蚂蚁会持续投入原生多摸态技术的研发。”蚂蚁集团副总裁徐鹏表示。