NVIDIA 宣布,其新训练系统的单 GPU 性能最高达到现有产品的 2 倍。模型开发团队因此有了用相同数量 GPU 缩短训练等待时间的新选择,公司表示正通过云基础设施合作伙伴供应该系统。

1. 相同模型和 GPU 数量下的代际差异

据公司公布,Vera Rubin NVL72 首次参加 MLPerf Training v6.1,便在 7 项基准中的 6 项取得了最短训练时间。

据 MLCommons 介绍,该测试衡量使用规定数据将模型训练至目标质量所需的时间。封闭组使用与参考实现相同的模型,对硬件和软件进行比较。

最大的代际差异出现在需要大规模通信的 DeepSeek-V3 671B 上。据公司公布,新系统将 1,024 个 GPU 部署在 16 个机架中,耗时 4.14 分钟。机架是集中安装服务器的设备框架。下表是公司公布的相同模型、相同 GPU 数量下的三代对比。

表:相同规模下三代系统的训练时间对比

条件:MLPerf Training v6.1 封闭组,DeepSeek-V3 671B,各 NVL72 系统均配置 1,024 个 GPU

单位:分钟

相同模型、相同 GPU 数量下各代系统的训练时间GB200 NVL72: 训练时间 12.36; GB300 NVL72: 训练时间 8.03; Vera Rubin NVL72: 训练时间 4.14GB200 NVL7212.36GB300 NVL728.03Vera Rubin NVL724.14
相同模型、相同 GPU 数量下各代系统的训练时间
相同模型和 GPU 数量下的代际差异
系统训练时间
GB200 NVL7212.36
GB300 NVL728.03
Vera Rubin NVL724.14

据公司公布,与优化后的 GB300 在相同 GPU 数量下比较,该模型的单 GPU 性能约为 2 倍。其他模型也有提升,但幅度为 1.4~1.6 倍。

2. 最高速度与扩展效率是不同的纪录

据公司公布,GB300 使用 160 个机架中的 10,240 个 GPU,在 1.38 分钟内完成同一模型的训练,创下本轮绝对最短时间。这分别展示了提高单 GPU 效率,以及投入更多 GPU 来提前完成训练这两种选择。

公司表示,在该模型上,Vera Rubin 的 GPU 从 256 个增加至 1,024 个、机架从 4 个增加至 16 个时,扩展效率超过 97%。这意味着它基本保持了与资源增幅相称的速度提升。

在机架内部,NVLink 6 连接 72 个 GPU 和 36 个 CPU,提供每个 GPU 3.6TB/s、每个机架 260TB/s 的带宽,即每秒可传输的数据量,并与机架间通信网络共同支撑大规模计算。

3. 新增后训练测试与 CPU 的作用

新增的 Qwen3.5 397B GRPO 是一项强化学习后训练测试,模型尝试采取行动,并根据评估结果再次学习。据公司公告正文,在 1,024 个 GPU 上,Vera Rubin 耗时 10.44 分钟,GB300 耗时 13.78 分钟。

提交结果还采用了两种执行推理的软件。在相同规模下,Vera Rubin 使用 TensorRT-LLM 的成绩为 10.44 分钟,使用 vLLM 则为 10.94 分钟。

后训练不仅需要 GPU 计算,还需要 CPU 资源来运行测试行动的仿真环境,即模拟现实情境的运行空间。公司表示,一个 Vera CPU 机架中的 256 个 CPU 可同时支持超过 22,500 个强化学习环境。

4. 现有系统也受益于软件改进

公司在提交截止后,保持各模型的硬件和配置不变,使用新软件构建版本重新运行。以下时间均为公司公布的参考结果,各段中前一个数值为 Vera Rubin,后一个为 GB300。

Llama 3.1 8B 在 72 个 GPU 上分别耗时 6.140 分钟和 9.211 分钟。gpt-oss 20B 在 64 个 GPU 上分别耗时 8.080 分钟和 13.151 分钟。

DLRMv4 在 128 个 GPU 上分别耗时 1.628 分钟和 2.940 分钟。此前 GB300 的正式提交时间为 3.871 分钟,可见新构建版本的改进效果也体现在上一代系统上。

公司表格中的强化学习性能倍数基于 64 个 GPU,而正文中的训练时间基于 1,024 个 GPU。重跑结果未经 MLCommons 验证和 MLPerf 审核,其测量方式或实现可能与正式结果不同。

5. 缩短训练时间的收益与集群成本

缩短训练时间,就有机会在同一时期内进行更多实验。要获得这一收益,就需承担运维大规模 GPU 集群(将多个 GPU 联合运行的系统)及机架间连接的负担,后训练还须同时部署 CPU 仿真资源。开发团队可结合目标模型的训练时间与整体系统配置,确定部署规模。

从 Vera Rubin 的首次成绩来看,实用的选择标准并非最高性能倍数,而是缩短目标模型等待时间所需的整体系统规模。