NVIDIAは、新しい学習システムで既存製品よりGPU当たりで最大2倍の性能を達成したと発表した。モデル開発チームには同じGPU数で学習の待ち時間を短縮する新たな選択肢が生まれ、同社はクラウドインフラの提携企業を通じてシステムを供給していると説明した。
1. 同じモデルとGPU数で確認した世代間の差
会社発表によると、Vera Rubin NVL72はMLPerf Training v6.1に初参加し、7つのベンチマークのうち6つで最速の学習時間を記録した。
MLCommonsによると、この試験では所定のデータを使い、モデルが目標品質に達するまでの学習時間を測定する。クローズド部門は、参照実装と同じモデルを用いてハードウェアとソフトウェアを比較する部門だ。
世代間で最大の差が出たのは、大規模な通信が必要なDeepSeek-V3 671Bだった。会社発表によると、新システムはGPU 1,024基を、サーバーをまとめて設置する機器枠であるラック16台に配置し、4.14分を記録した。以下は同社が公開した、同じモデル・GPU数での3世代の比較だ。
表:同じ規模で比較した3世代の学習時間
条件:MLPerf Training v6.1クローズド部門、DeepSeek-V3 671B、各NVL72システムでGPU 1,024基の構成
単位:分
| システム | 学習時間 |
|---|---|
| GB200 NVL72 | 12.36 |
| GB300 NVL72 | 8.03 |
| Vera Rubin NVL72 | 4.14 |
会社発表によると、最適化されたGB300と同じGPU数で比較した場合、このモデルのGPU当たりの性能は約2倍だった。他のモデルでも改善が続いたが、その幅は1.4~1.6倍だった。
2. 最高速度とスケーリング効率は別の記録
会社発表によると、GB300は同じモデルをGPU 10,240基、ラック160台で1.38分で学習し、今回の絶対的な最短時間を記録した。GPU当たりの効率を高める選択と、より多くのGPUを投入して完了を早める選択をそれぞれ示している。
同社によると、Vera RubinはこのモデルでGPUを256基から1,024基へ、ラックを4台から16台へ増やした際、スケーリング効率が97%を超えた。リソースの増加に見合う速度向上をほぼ維持したことを意味する。
ラック内ではNVLink 6がGPU 72基とCPU 36基を接続し、GPU当たり3.6TB/s、ラック当たり260TB/sの帯域幅、つまり1秒間に転送できるデータ量を提供する。ラック間の通信網とともに大規模演算を支える。
3. 新しい事後学習試験とCPUの役割
新たに追加されたQwen3.5 397B GRPOは、モデルが行動を試し、評価された結果を再び学習する強化学習による事後学習の試験だ。同社の発表本文によると、GPU 1,024基でVera Rubinは10.44分、GB300は13.78分を記録した。
推論を実行するソフトウェアも2種類で提出した。同じ規模のVera Rubinの結果は、TensorRT-LLMで10.44分、vLLMで10.94分だった。
事後学習にはGPU演算だけでなく、行動を試すシミュレーション環境、つまり現実の状況を模擬して実行する空間を動かすCPUリソースも必要だ。同社は、Vera CPUラック1台のCPU 256基が、2万2,500を超える強化学習環境を同時にサポートすると説明した。
4. 既存システムにも及ぶソフトウェアの改善
同社は提出締め切り後、各モデルのハードウェアと設定を維持したまま、新しいソフトウェアビルドで再実行した。以下の時間はすべて同社が公開した参考結果で、各段落の前の値がVera Rubin、後の値がGB300だ。
Llama 3.1 8BはGPU 72基で6.140分と9.211分だった。gpt-oss 20BはGPU 64基で8.080分と13.151分だった。
DLRMv4はGPU 128基で1.628分と2.940分だった。既存のGB300の公式提出時間は3.871分であり、新ビルドによる改善効果は前世代でも見られた。
同社の表にある強化学習の性能倍率はGPU 64基の条件で、本文の学習時間は1,024基の条件だ。再実行の結果はMLCommonsの検証とMLPerfのレビューを受けておらず、公式結果とは測定方法や実装が異なる可能性がある。
5. 学習時間短縮の利点とクラスターのコスト
学習時間を短縮すれば、同じ期間により多くの実験を行う余地が生まれる。その利点を得るには、大規模なGPUクラスター、つまり複数のGPUをまとめて運用するシステムと、ラック間接続を運用する負担が伴い、事後学習ではCPUのシミュレーションリソースも併せて配置する必要がある。開発チームは、対象モデルの学習時間とシステム全体の構成を照らし合わせて導入規模を決められる。
Vera Rubinの初の成績から見た実用的な選択基準は、最大の性能倍率ではなく、対象モデルの待ち時間を短縮するために必要なシステム全体の規模だ。
