蚂蚁集团开源代码大模型Ling-Coder-Lite
独家抢先看
3月29日，蚂蚁集团昨日宣布，正式开源Ling-Coder-Lite。
据官方介绍，Ling-Coder-Lite是一款 MoE 架构的代码大语言模型，实现推理效率提升 1.5-2 倍。
据介绍，2个轻量级代码大模型 Ling-Coder-Lite 和 Ling-Coder-Lite-Base 已在 Hugging Face 与 ModelScope 开源 。同时，蚂蚁集团开源用于退火训练的 SyntheticQA、用于后训练 SFT（Supervised Fine-tuning）和 DPO（Direct Preference Optimization）共计约 3000 万条数据，支持社区进一步研究和开发。
据介绍，基于 Ling-MoE 架构，Ling-Coder-Lite 总参数量为 16.8B，推理时激活参数仅为 2.75B。Ling-Coder-Lite 支持 Python、Java、C++、JavaScript 等数十种常用编程语言，除简单的和多语言的代码生成之外，还支持竞赛类和应用类高级代码生成、代码理解和输入输出推理、数据科学和 SQL 类数据分析、代码修复等。
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”
为您推荐
算法反馈精品有声
热门文章
精彩视频
凤凰网科技官方微信
