阿里云真武超节点适配Kimi K3，国内首个跑通近3万亿参数模型
下载客户端
独家抢先看
独家抢先看
凤凰网科技讯 7月28日，阿里云宣布真武M890超节点实例已Day0适配Kimi K3，这是国内首个成功运行近3万亿参数模型的超节点。该超节点通过ICN Switch高速互联芯片，将64张平头哥真武M890芯片以800GB/s全互联，显存规模达9TB，单实例即可支撑大规模万亿级MoE模型的专家并行需求。
为提升运行效率，阿里云、平头哥与Kimi团队从软件栈、算子层面进行了深度联合适配，优化后首Token时延降低约35%，单卡解码吞吐提升1.8倍，可稳定支持1M长上下文。千问AI平台和阿里云百炼将同步提供Kimi K3的模型API。阿里云表示，该适配验证了国产算力已具备支撑超大参数模型大规模应用的能力。
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”
