对话面壁CEO李大海：端侧AI模型赶上GPT-4，国产芯软件要补课

智东西

作者 | 江宇

编辑 | 漠影

智东西6月12日报道，刚刚，在智源大会期间，面壁智能CEO李大海与AI Infra负责人李宇轩与智东西等媒体进行了深入交流。从端侧模型进展、国产算力适配、智能体落地、开源策略到汽车、手机等终端场景，李大海回应了外界关注的多个问题，并抛出不少关键判断：

1、端侧模型进展：此前预测2026年底端侧模型智能水平达到GPT-4水平，如今已经提前达到。

2、端侧落地：2025年是端侧模型落地元年，汽车量产是重要标志，今年会有更多端侧应用落地。

3、端侧角色：面壁会持续发布端侧基础模型，同时服务重要设备厂商，也会探索AI原生端侧设备。

4、智能体：很多场景已经可以落地，但外界对零介入、100%完成、100%负责的期待仍然偏高。

5、手机智能体：端侧模型与智能体结合，重要方向是改变人与设备的交互方式。

6、国产算力：国产芯片用于训练还需要模型公司与芯片公司更深合作，软件生态仍需补课。

7、开源：开源是高效商业模式，可以用更低成本触达潜在客户，其核心竞争力仍在“冰山之下”。

8、端侧AI终局：长期看，模型与芯片会走向更深协同，甚至模型公司也可能生产自己的芯片，但这仍是较远的终局。

一、端侧模型提前追上GPT-4，落地还要等芯片一起跟上

在近四十分钟的群访中，李大海和李宇轩回答了十余个问题。

我们将关键问题整理如下：

Q1：2024年曾预测，到2026年底端侧模型智能水平可以达到GPT-4水平。现在看，这个目标会提前还是延后？

李大海判断，这个目标已经提前达到。

他提到，面壁近期发布MiniCPM-5 1B版本后，在Artificial Analysis榜单上拿到17.6分。社区研究者对比发现，2024年5月OpenAI发布的GPT-4o在该榜单上得分大约只高零点几分，而GPT-4o参数规模约为200B，MiniCPM-5 1B只有1B参数。

李大海认为，这说明面壁仍在践行其提出的“大模型知识密度定律”。

Q2：端侧模型现在落地到哪些生活场景？为什么用户感知还不强？

李大海认为，2025年可以算作端侧模型落地元年，面壁去年四季度在汽车上正式量产，是一个重要标志。

他提到，目前端侧模型能力增长很快，但真正往下落地时，最大制约仍然是模型与芯片的结合。现在一批国产存算一体端侧AI芯片公司正在流片，一旦芯片回来，能够提供更有竞争力的功耗、算力和带宽，端侧应用会有更多爆发。

在他看来，今年会有大量端侧应用落地。以“小龙虾”这类形态为例，合理方式不是所有推理都放在云端，而是上下文管理放在端上，一部分高频推理也放在端上，最终形成端云协同。

Q3：面壁在端侧模型领域的长期定位是什么？

李大海说，面壁对自己的定位是“端侧模型的基础设施”。

具体来看，面壁会做三层事情：第一，持续发布世界领先的端侧基础模型，赋能更多开发者；第二，直接服务一些出货量大的重要设备厂商；第三，在新的AI原生端侧设备上探索自己的硬件产品。

二、智能体已经能落地，但“零介入”还需要时间

Q4：面壁怎么看智能体当前的局限？最大问题是成本、稳定性、记忆，还是权限？

李大海认为，智能体正在快速进化。若要说问题，“哪哪都是问题”，但从技术发展角度看，模型与智能体的结合正在以很快速度推进。

他提到，面壁早在2024年就已经用智能体技术，在人工智能辅助审判方向协助法官落地。

不过，李大海也提到，外界对智能体的期待可能偏高，比如希望它零介入、100%做好，并且还能100%负责。他认为，技术打磨需要时间，这是自然规律。

Q5：怎么看豆包手机这类把智能体放到手机上的尝试？

李大海认为，这是非常自然的方向。

他解释说，端侧模型的重要方向之一，就是改变人与设备的交互方式。端侧模型更隐私友好，实时性和可靠性也更强，因此适合承担人机交互任务。

他还用云游戏做了类比：云游戏一直不温不火，一个重要原因是用户对交互帧率和稳定性要求很高，不希望出现无预期卡顿。类似地，人与设备交互也需要很高实时性和可靠性，这些能力更适合在端上完成。

Q6：做端侧智能体会遇到哪些困难？

李大海说，关键仍然是模型与芯片的结合。

他把问题概括为三个因素：能力、成本和场景。一个场景能不能落地，要看模型表现、可接受成本和具体应用场景之间能否匹配。目前限制主要来自芯片、内存和带宽，但在端侧摩尔定律和端侧模型知识密度定律共同推动下，这些问题正在改善。

三、国产算力开始进入训练环节，软件生态还要补课

Q7：依托国产智算集群做训练和推理时，如何提高算力利用率？如何与国产AI芯片厂商、智算中心、算力服务商协作？

李大海说，过去行业更多用英伟达芯片和集群做训练，推理逐步转移到国产芯片上。今年开始，训练工作也在逐步转向国产卡。

他坦言，相比英伟达集群，国产芯片集群在软件生态上还有很多课要补，模型公司不能完全靠自己完成所有适配工作，需要芯片公司提供更多支持。

李大海提到，面壁一方面与国产芯片公司做深入配合，另一方面也与智源主导的FlagOS软件生态有深度合作。前者更像是模型训练牵引下的逐步完善，后者则是自顶向下做顶层规划，把芯片公司拉进来，明确哪些工作更重要，再一步步推进。

李宇轩补充说，训练相比推理，对精度要求更高。如果一张卡只做过推理、没有做过训练，可能会遇到一些意想不到的精度问题。

面壁此前提出“模型风洞”技术，即用小模型实验预测大模型效果。李宇轩说，面壁把这套基础设施先在华为等国产卡上做深度评测，并与英伟达进行对齐，确认精度可用，再继续推进更大模型训练。

Q8：此前提到在昇腾上达到95%训练效率，另外5%差距来自哪里？

李宇轩澄清说，这里的95%并不是指华为平台相对英伟达平台达到95%，而是指在华为平台上，极低位宽量化感知训练相比普通训练达到95%的效率。

他解释，训练量化模型时需要加入量化器，这会带来额外开销和性能损失。面壁与华为合作优化量化器开销，将损失控制在5%以内，从而验证极低位宽训练pipeline在华为平台上可用。

四、苹果端侧AI落地不算早，手机厂商差距还没拉开

Q9：怎么看苹果推出端侧大模型？会不会挤压高端安卓手机市场？

李大海认为，苹果早在2024年6月就公布了端侧模型与云端协同战略。以苹果的风格来看，今天才落地，已经晚于行业预期。

他还提到，苹果在大模型上与谷歌有较深合作，这反而凸显出第三方专业大模型公司的价值。

李大海认为，这件事与安卓还是苹果没有本质关系，更重要的是是否找到更好的芯片，以及是否在场景和产品定义上做出更好设计。以他的观察，国内手机厂商对这一方向理解都较深，差距并不大。

Q10：手机厂商选择面壁，主要看重哪些因素？

对此，李大海总结了三点。

第一，面壁能持续训练出知识密度足够高的端侧模型。第二，面壁与很多端侧芯片公司有深度合作，比如与高通已经形成全球战略合作，并达到协同设计程度。第三，面壁在高效推理上积累较多，这对手机、汽车等功耗敏感设备很重要。

他说，在同等效果下，如果推理功耗能显著降低，就是巨大的竞争优势。

Q11：端侧模型压缩是否有极限？

李大海说，据他了解，1.58比特应该已经算是极限。更重要的是，在这样的压缩比下，保持足够少的性能损失。

他提到，李宇轩团队主导的工作，是在训练阶段就把三值量化作为量化感知训练的一部分，从训练第一步就持续考虑和对齐，这对降低量化损失很重要。

五、开源不是简单开放技术，而是降低客户验证成本

Q12：中国大模型公司出海时，如何平衡自主可控与全球开放合作？

李大海认为，这两个方向不冲突。

他解释说，自主可控是企业对自身底层能力的内生要求；开放合作则体现在灵活商业合作模式、重视用户和客户利益，以及尊重海外客户和伙伴的文化与需求。

他同时强调，开放不等于无底线开放自己的技术，技术对外输出与开放合作是两个层面的概念。面壁会在国家技术出口相关指导方针下推进海外合作。

Q13：行业竞争激烈，面壁为什么仍然坚持开源？

李大海认为，开源是一个非常高效的商业模式，因为它能用更低成本触达潜在客户。

他说，当客户做基础研究或技术验证时，如果模型是开源的，就能低成本试用，也能帮助客户在内部用更扎实的数据和证据说服上级，最终提升从技术影响力到商业合作的转化效率。

对于开源是否会培养竞争对手，李大海认为，开源模型和框架会产生影响，但不会产生特别实质的影响，因为一家公司的核心竞争力在“冰山之下”。已经开源出来的东西，不足以让别人完全学会公司的核心能力。

他还提到，企业不能只靠把一时的竞争优势关起来，而应靠技术前瞻性和速度，持续构建更复杂的竞争优势。

六、汽车、手机、无人机、潜水器都在落地，法律场景也在推进

Q14：过去一年，面壁主要有哪些进展？未来规划是什么？

李大海说，过去一年，面壁在资本市场、技术和产业落地上都有进展。

资本层面，面壁获得了更多投资人支持，其中包括具有国家队属性的资本和产业资本。李大海认为，这些融资是产业推进的结果，不是原因。

技术层面，面壁持续推进基础模型、数据治理、AI训练AI框架等工作，并推出了流式全双工端侧全模态模型。

产业层面，除了智能汽车，面壁也把端侧模型部署到手机上，并在无人机、潜水器等智能终端上推进端侧模型落地。李大海称，这些方向可以概括为“上天入地、上天下海”。

此外，面壁在法律领域的工作也在继续推进。李大海提到，面壁协助最高人民法院做的全国法院“一张网”试点，今年已经落到全国20到30个城市。

Q15：汽车场景中，用户和车企反馈如何？

李大海以吉利银河M9为例说，面壁上车的功能并不是默认开放，需要用户主动打开。车厂反馈显示，用户主动打开比例非常高。他认为，这代表了用户对相关功能的认可。

七、端侧AI终局可能是模型与芯片深度合一，但不会很快到来

Q16：端侧AI的终局是模型适应芯片，还是芯片适应模型？面壁的护城河是什么？

李大海判断，未来终局可能是“模型即芯片”，即大模型公司最终生产出自己的模型后，也会同时生产自己的芯片。

不过他认为，这仍是较远的终局，可能需要10年起步。原因在于模型侧可以跑得很快，但芯片流片背后仍有大量不能被AI自动完成的工作。

李大海提到，面壁已经初步完成用AI训练AI，下一步自然会考虑如何用AI去流片。但AI流片要克服的问题更多，不会很快到来。