NVIDIAが、複数回の対話とツール利用を繰り返すAI業務の推論試験で、新システムの暫定結果を公開した。会社発表では前世代に比べ、電力当たりの処理量は5~10倍、同じ同時ユーザー数での応答速度は3~5倍となり、エージェントサービスを運用する企業に、電力予算内で処理能力を増やせる可能性を示した。
1. エージェント業務の速度と処理能力を同時に測定
MLPerf Endpoints v1.0はコーディングや企業の業務フローをAPIで実行し、サービスの処理能力と応答性を併せて調べる。エージェントは推論、ツール呼び出し、応答を何度も繰り返すため、1回の回答速度だけでは実際の作業での体感性能を判断しにくい。
結果ページのエージェントレポートでは、各点が同時ユーザー数を変えた1回の実行を表す。システム処理量はシステム全体の秒間トークン数で、エンドツーエンドの対話速度は作業全体でユーザー1人が体感する秒間トークン数だ。
性能測定の実行中にツール呼び出しと業務フローの意図を基準値と照合し、問題解決能力は別のSWE-bench Verified評価で調べる。
2. 会社発表では処理量効率で優位
比較対象はVera Rubin NVL72と前世代のGB300 NVL72だ。電力効率はシステムに割り当てた電力1kW当たりの処理量で比較し、モデル別の最低応答速度を満たす実行のうち、各プラットフォームの最高値を選んだ。
会社発表では、Kimi K3の電力当たりの処理量は10倍、DeepSeek-V4.1-Flashは9倍、Qwen3.6-35B-A3Bは5倍だ。同じ同時クエリ数でのユーザー当たりの応答速度は、それぞれ3倍、5倍、3倍とされた。
処理量比較の応答速度の下限は、ユーザー当たりでKimiが毎秒50トークン、DeepSeekが280トークン、Qwenが410トークンだ。応答速度の倍率はKimiとDeepSeekでは同時クエリ1,024件、Qwenでは256件にそろえて比較した。3モデルはデータセットも異なり、各倍率はそのモデルと業務についての結果だ。
3. 同時クエリを増やすと応答性と処理量がトレードオフになる
Kimiの暫定提出結果で、アクセラレーター32基を使った同じシステムの負荷別記録を見ると、同時クエリが増えるほど割り当て電力当たりの処理量が高くなった。以下は公開結果データから、同じ提出と電力条件の実行を3つ抜き出した値だ。
表:Vera RubinのKimi負荷別の電力当たり処理量
条件:MLPerf Endpoints v1.0、Standardized部門、Available区分、Vera Rubin NVL72アクセラレーター32基、割り当て電力100.89kW、Kimi K3、agentic_combined、TensorRT-LLMとDynamo、最終構成のオンライン実行で同時クエリ数を変更
単位:同時クエリ数は件、電力当たりの処理量はトークン/秒/kW
| 同時クエリ数 | 電力当たりの処理量 |
|---|---|
| 512 | 254.6 |
| 1024 | 410.5 |
| 1536 | 478.6 |
会社発表では、同時クエリ1,024件で全体の処理量は毎秒41,414.2トークン、ユーザー当たりの応答速度は毎秒50.4トークンだった。クエリを1,536件に増やした実行では処理量効率はさらに高いが、ユーザー当たりの応答速度は比較の下限である毎秒50トークンを下回った。
10倍の効率比較でのGB300の基準点は、アクセラレーター48基、電力60kW、同時クエリ48件で、全体で毎秒2,210.4トークン、ユーザー当たり毎秒56.2トークンを記録した実行だ。一方、応答速度3倍の比較では、GB300も同時クエリを1,024件に増やした際のユーザー当たり毎秒16.8トークンを基準とした。
4. 過去の対話を再利用し生成ステップを削減
NVIDIAは、高速なメモリアクセス、行列演算の高速化、GPU間通信に加え、毎回対話履歴を最初から処理する手間を減らす状態の再利用も適用したと説明する。過去の処理結果を再利用する方式と、入力・生成処理の分離、つまり入力と生成を別々に処理する方式も用いたという。
モデル別では、DeepSeekの専用演算プログラム、つまり特定の計算向けに作ったプログラムがデータ移動を削減したという。Qwenは複数のトークンを先に提案して一括検証し、逐次生成のステップを減らしたと同社は説明した。
5. 効率改善を電力予算につなげる方法
利点は、同じ応答速度の要件を満たしながら、電力予算内でより多くのエージェントにサービスを提供できる余地が広がることだ。一方、確認すべきは構成全体の電力規模だ。Kimiの比較でVera Rubinの割り当て電力は100.89kWとGB300の60kWより高く、導入検討には効率の倍率とともに、設備が対応できる電力も含まれる。
GB300の結果はMLCommons Associationの検証を終えているが、Vera Rubinの数値は査読、つまり専門家が結果を確認する手続きを待つ暫定結果で、変更される可能性がある。
今回の結果の要点は、最大処理量の競争よりも、サービスが求める応答速度を先に定め、その条件を満たす電力当たりの処理能力を選ぶことにある。
