OpenAI：现在只需5~10人即可从头重建GPT-4，发展瓶颈已经从“算力”转变为“数据效率”

IT之家 4月11日消息，OpenAI开发GPT-4曾耗费了大量人力物力，而现在却只需5~10人团队即可从头走一遍这个流程。

OpenAI首席执行官萨姆・奥尔特曼（Sam Altman）今日在公司内部播客中披露，得益于 GPT-4.5的技术突破，重建GPT-4大模型所需团队规模已从数百人缩减至5-10人。

这一结论也获得了GPT-4.5预训练负责人亚历克斯・佩诺（Alex Paino）、数据效率研究员丹尼尔・塞尔萨姆（Daniel Selsam）等核心成员证实。

丹尼尔表示，“当得知某项技术已被实现，其复现难度就会大幅降低。我觉得，只要有可能，这就是一种巨大的作弊码。”

佩诺表示，GPT-4.5的设计目标是比2023年3月发布的GPT-4“智能10倍”，他还补充道，“通过这种 GPT 预训练流程的优化，我们的规模也较之前拓展了 10 倍。”

此外，奥尔特曼还声称公司已突破“算力制约”瓶颈，而且他认为世界尚未真正理解这一转变。在此之前，各大科技公司已相继投入海量资金用于AI基础设施建设，其中微软、亚马逊、谷歌和Meta四家科技巨头2024年AI基础设施资本支出预计达3200亿美元（IT之家注：现汇率约合2.34万亿元人民币）。

OpenAI认为，技术瓶颈已从算力转向数据效率领域（可能是指算力的边际效用递减，所以需要从算法方面寻求突破）。丹尼尔指出，当前GPT系列模型数据利用率存在“洞察深度天然上限”。

“当算力持续扩张时，数据增长速度明显滞后，最终形成发展瓶颈。要想突破这一限制，需要进一步实现算法创新，从同等数据量中榨取更高价值。”