DeepSeek-V4-PRO AI测试:英伟达Vera Rubin每兆瓦吞吐量达GB300的30倍

DeepSeek-V4-PRO AI测试:英伟达Vera Rubin每兆瓦吞吐量达GB300的30倍

IT之家 8 月 24 日消息,英伟达昨日使用 SemiAnalysis AgentX 工作负载,以 DeepSeek-v4-PRO 1.6T 模型评估测试,显示 Vera Rubin 每兆瓦吞吐量达到 Blackwell 的 30 倍。

每兆瓦吞吐量(Tokens per Megawatt,简称 tokens / MW)是衡量 AI 数据中心在固定电力额度下能产出多少 AI Token 的核心能效指标。

IT之家援引博文介绍,SemiAnalysis AgentX 通过 4 项指标,重点评估智能体编程推理工作负载:

端到端归一化交互性按请求提交至最终 Token 到达的完整时间计算,反映包含首个 Token 等待时间在内的用户可见输出效率;

标准交互性只统计首个 Token 至最后一个 Token 之间的生成阶段。

端到端延迟统计单次请求从提交到最终输出 Token 到达的总时长

首个 Token 延迟(TTFT)则统计提交请求到首个输出 Token 到达的时间。

在 DeepSeek-v4-PRO 1.6T 工作负载中,采用 GB300 NVL72 的 Grace Blackwell 服务器,每兆瓦吞吐量达到 H200 NVL8 Hopper 方案的 15 倍。

A line graph shows 'NVIDIA Blackwell Delivers 15x Better AI Factory Throughput' with the GB300 NVL72 outperforming the H200 NVL8 across throughput per MW.

Blackwell 每百万 Token 成本约为上一代的 1/10,运营方可以在相同电力和基础设施预算下支持更多智能体,或以更低运营成本维持相同智能体容量。

A line graph titled 'NVIDIA Blackwell Delivers 10x Lower Token Cost' shows the GB300 NVL72 providing significantly increased interactivity at a lower cost than the H200 NVL8.

而 Vera Rubin 进一步提升该优势,在 DeepSeek V4 Pro 模型上,Vera Rubin NVL72 的每兆瓦吞吐量约为 GB300 NVL72 的 30 倍。

Vera Rubin NVL72 的每百万 Token 成本是 GB300 NVL72 的 35 分之一,能够持续、大规模地运行智能体,满足客户各种工作负载的需求。