本文要点:
1. Meta可能正在开发比GPT-4更强大的AI大模型Llama3,并保持开源免费。
2.消息称 Llama3计划达到GPT-4的性能水平,但仍将免费提供。然而Meta尚未对此进行官方确认。
3. Llama2在某些应用上达到GPT-3.5水平,但与GPT-4等模型仍有明显差距。Llama3是否能超过GPT-4在技术上还存在不确定性。
站长之家(ChinaZ.com)8月31日 消息:据人工智能新闻网站the decoder报道,Meta可能正在开发比GPT-4更强大的AI大模型Llama3,并且保持开源免费。
报道称,这是OpenAI 工程师、前 Google Brain 工程师 Jason Wei 在 Meta 组织的 Generative AI Group 社交活动中听到的消息。
Jason Wei注意到 Meta 现在有足够的计算能力来训练 Llama3和4。他透露,Llama3计划达到GPT-4的性能水平,但仍将免费提供。
不过,Meta目前还没有发表任何关于Llama3何时发布的声明。尽管消息源来自Jason Wei,但其听到的消息也可能有误。
可以参考的是,从2023年2月下旬发布Llama1到2023年7月下旬发布 Llama2, Meta 花了大约五个月的时间。
GPT-4具有比标准版 Llama 更复杂的架构
GPT-4可能通过使用更复杂的混合架构来实现其高性能,该架构具有16个专家网络,每个网络具有约1110亿个参数。
因此,从 Llama2升级到 Llama3可能比简单地通过更多训练进行扩展更具挑战性,并且可能比从 Llama1跳到 Llama2需要更长的时间。
Llama2在某些应用程序中达到了GPT-3.5的水平,同时正在由开源社区通过微调和附加功能进行优化。
例如,最近发布的Code Llama基于 Llama2,通过微调在 HumanEval 编码基准中达到了GPT-3.5和GPT-4级别的结果(取决于测量类型)。
然而,Meta 在论文中指出, Llama2与 GPT-4和Google 的 PaLM-2等闭源模型仍然存在较大的性能差距。
届时Llama3能否比GPT-4更强大还有待观察。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”