作者|余杨
编辑|苗正卿
头图|视觉中国
7月24日消息,Meta(原Facebook)宣布推出开源模型Llama 3.1,包括三个不同规模的版本:405B、70B和8B。其中,Llama 3.1 405B被认为是最强大的开源模型,在多项基准测试中超越了GPT-4o和Anthropic的Claude 3.5 Sonnet。
Meta首席执行官马克·扎克伯格预测,由Llama3支持的Meta AI(Meta 的人工智能助手)使用量将在未来几个月内超过ChatGPT。
在Meta针对AI模型的主页文档介绍中,重点展示了数据分析、多语言代理、复杂推理和编码助手几个功能。
在模型评估上,Meta根据涵盖多种语言和大量人工评估的 150 多个基准数据集进行了测量。数据显示,Llama 3.1 405B 在常识、代码、数学、推理、工具使用和多语言翻译方面的最先进能力方面可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等顶级 AI 模型相媲美。
数据如下:
不仅如此,Meta还让Llama 3.1 405B参与了人工评估,比较看来,Llama 3.1 405B的总体表现优于GPT-4o和Claude 3.5 Sonnet。
除“最强大模型”Llama 3.1 405B 外,最新推出的Llama 3.1 8B 和 70B 模型的升级版本,宣称能够支持相同的128K Tokens上下文窗口、多语言、改进的推理和最先进的工具使用,还支持高级应用,例如长篇文本摘要、多语言对话代理和编码助手,因而在评估中也有不俗的成绩。
跑分如下:
Meta在公开文档中介绍,Llama 3.1将上下文长度扩展到 128K,增加了对八种语言的支持。其中,Llama 3.1 405B在基于15万亿个Tokens、超16000个H100 GPU上进行训练,这是Meta有史以来第一个以这种规模进行训练的Llama模型。
这是一笔不小的投资。
H100 GPU的建议零售价并未公开,由于GPU的价格会随着市场情况、供应商、购买渠道、促销活动、地区差异等因素变化,很难给出一个确切的购买价格。但我们粗略估算一下,假设每个H100 GPU的平均价格为10000美元,那么购买16000个H100 GPU的总成本大约为160,000,000美元,即1.6亿美元。
AI 市场的投资狂热长久以来广为诟病,主要针对的是人工智能的变现能力。盖茨质疑过,认为AI 市场的狂热程度远超互联网泡沫。红杉资本合伙人在去年和今年分别发布了《人工智能的2000亿美元问题》和《人工智能的 6000 亿美元问题》,扎克伯格也面临着这个问题。
他也承认,对AI的炒作可能导致过多的投资。扎克伯格在一档播客中指出:为了确保Meta在AI领域保持领先地位,公司已经花费数十亿美元购买英伟达的GPU,以开发和训练先进的AI模型。但落后的后果是,你在未来10到15年内,都会在最重要的技术上处于不利地位。
无独有偶,在周二谷歌的财报电话会议上,谷歌CEO桑达尔·皮查伊也被问及,谷歌每季度120亿美元的AI投资何时能见效。对此他承认,人工智能产品需要时间才能成熟并变得更加有用。AI成本高,但投资不足的风险更大。
谷歌在AI基础设施上投资也主要包括购买英伟达的GPU。不过,“即使AI热潮放缓,公司购买的数据中心和计算机芯片也可以用于其他用途。”桑达尔说,“对我们来说,投资不足的风险远远大于投资过度的风险。”
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”