清华大学教授汪玉:算法与芯片协同优化,推动大模型行业可持续发展
科技
科技 > 互联网 > 正文

清华大学教授汪玉:算法与芯片协同优化,推动大模型行业可持续发展

凤凰网科技讯(作者/杨倩)近日,知乎在北京举办首届“知乎AI先行者沙龙”, 清华大学电子工程系长聘教授兼系主任汪玉围绕“大模型行业如何可持续发展”分享观点。汪玉分析了大模型面临的三个主要挑战,包括美国2022年107新规和2023年的1017法案对算力和芯片的限制,模型训练和推理的高昂成本,以及如何推进中国独特的算法和芯片生态。

清华大学电子工程系长聘教授兼系主任汪玉

清华大学电子工程系长聘教授兼系主任汪玉

在算力成本的讨论中,汪玉通过提供具体的数据和情景分析了大模型运营的成本压力。汪玉表示,即便对国际顶尖学府来讲,大模型的研究也是不小的挑战。从训练端看,180B参数量的大模型,在3.6T tokens的数据集上训练,花费超1亿。50B参数量的垂类大模型,训练成本也要400万元。

同时,汪玉也简述了大模型在推理侧,服务大量用户时依然面临的巨大成本问题。并指出这样的成本结构对于广大公司乃至个人用户而言都是难以承受的。

此外,为适应大模型发展的需求,需要更高的数据联网带宽。汪教授提到,根据理论计算,互联带宽的需求远远超过当前技术供应水平,业界需要更好的互联方式来连接硬件共同完成模型的计算。在这个前景下,如何连接中国AI系统中的算力机器成为一个亟待解决的问题。

上海交通大学副教授张拳石、硅星人/品玩CEO骆轶航、彩云科技创始人袁行远、知乎COO张宁等悉数到场,共同探讨AI新时代下的技术创新与产业应用,为行业发展带来新的思维和灵感。随着行业对AI关注度的提高,知乎上人工智能相关话题浏览量已超过226亿,知乎答主中也不乏机器学习和深度学习的从业者、专家,其中更有OpenAI最年轻的工程师。首届“知乎AI先行者沙龙”的成功举办,为AI技术创新与产业应用搭建了桥梁,为行业未来发展提供了新的思路和方向。

知乎COO张宁

知乎COO张宁

亲爱的凤凰网用户:

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

第三方浏览器推荐:

谷歌(Chrome)浏览器 下载

360安全浏览器 下载