据彭博社援引知情人士消息称,蚂蚁集团使用中国制造的半导体开发了一种训练 AI 模型的新技术,能将相关成本降低约 20%。
消息人士表示,蚂蚁集团在训练模型时采用了包括阿里巴巴和华为在内的国产芯片,并使用了一种名为「专家混合」(Mixture of Experts,MoE)的机器学习方法。
🥊 据称,这种训练方法取得了与英伟达 H800 等芯片相当的效果。
其中一位知情人士透露,蚂蚁目前仍在使用英伟达的芯片进行 AI 开发,但在最新的模型中,主要依赖的是来自 AMD 和中国厂商的替代芯片。
具体来说,蚂蚁集团 CTO、平台技术事业群总裁何征宇带领 Ling Team 团队,打造了两款开源 MoE 模型:Ling-Lite 和 Ling-Plus。
前者参数规模为 168 亿,后者参数规模高达 2900 亿。
💰 公开论文显示,技术团队在模型预训练阶段使用较低规格的硬件系统,将计算成本( 635 万元人民币/万亿 Token)降低约 20%,达 508 万元人民币,但模型性能却能与 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相媲美。
不过,论文中也指出,即使是硬件或模型结构的微小改动,也可能引发问题,比如导致模型的错误率突然上升。
此外,知情人士称,蚂蚁计划使用这两个新模型在医疗和金融领域提供 AI 服务。
凤凰网科技官方微信