NVIDIA公布了新系统在涉及多轮对话和工具使用的AI任务推理测试中的初步结果。根据公司公布的数据,其单位功耗吞吐量是上一代的5~10倍,相同并发用户数下的响应速度为3~5倍,为运营智能体服务的企业提供了在功耗预算内扩大处理能力的可能。
1. 同时衡量智能体任务的速度与容量
MLPerf Endpoints v1.0通过API执行编码和企业工作流,同时考察服务的处理能力与响应性。智能体会多次经历推理、调用工具再作出响应的过程,因此仅凭单次回答速度,很难判断实际任务中的体验性能。
在结果页面的智能体报告中,每个点代表一次采用不同并发用户数的运行。系统吞吐量是整个系统每秒处理的词元数,而端到端交互指标是单个用户在整个任务中体验到的每秒词元数。
性能测试运行期间,会将工具调用和工作流意图与参考值进行比对,而解决问题的能力则通过单独的SWE-bench Verified评估考察。
2. 公司公布的数据表明吞吐量效率领先
比较对象是Vera Rubin NVL72和上一代GB300 NVL72。能效按分配给系统的每1kW功率所对应的吞吐量比较,并在满足各模型最低响应速度的运行中,选取各平台的最高值。
根据公司公布的数据,Kimi K3的单位功耗吞吐量为上一代的10倍,DeepSeek-V4.1-Flash为9倍,Qwen3.6-35B-A3B为5倍。在相同并发查询数下,每用户响应速度分别为3倍、5倍、3倍。
吞吐量比较采用的响应速度下限,Kimi为每用户每秒50词元,DeepSeek为280词元,Qwen为410词元。响应速度倍数比较中,Kimi和DeepSeek的并发查询数均为1,024,Qwen为256。三个模型所用的数据集也不同,因此各倍数仅对应相应模型和任务。
3. 增加并发查询需要在响应性与吞吐量之间取舍
在Kimi的初步提交中,使用32个加速器的同一系统在不同负载下的记录显示,并发查询越多,单位分配功率的吞吐量越高。以下数值取自公开结果数据中同一提交、相同功率条件下的三次运行。
表:Vera Rubin运行Kimi时不同负载下的单位功耗吞吐量
条件:MLPerf Endpoints v1.0,Standardized组别,Available类别,Vera Rubin NVL72加速器32个,分配功率100.89kW,Kimi K3,agentic_combined,TensorRT-LLM与Dynamo,在最终配置的在线运行中改变并发查询数
单位:并发查询数以次计,单位功耗吞吐量为词元/秒/kW
| 并发查询数 | 单位功耗吞吐量 |
|---|---|
| 512 | 254.6 |
| 1024 | 410.5 |
| 1536 | 478.6 |
根据公司公布的数据,并发查询数为1,024时,总吞吐量为每秒41,414.2词元,每用户响应速度为每秒50.4词元。将查询数增至1,536的运行具有更高的吞吐量效率,但每用户响应速度降至比较下限每秒50词元以下。
10倍效率比较所用的GB300基准点,是采用48个加速器、功率60kW、并发查询数48的运行,总吞吐量为每秒2,210.4词元,每用户为每秒56.2词元。而响应速度3倍的比较,则以GB300同样增至1,024个并发查询时的每用户每秒16.8词元为基准。
4. 复用此前对话并减少生成步骤
NVIDIA解释称,除快速内存访问、矩阵运算加速和GPU间通信外,还采用了状态复用,即重新利用此前处理结果,减少每次从头处理对话历史的工作,以及将输入处理与生成处理分离的方式。
公司表示,针对各模型,DeepSeek的专用计算程序,即为特定计算定制的程序,减少了数据移动;Qwen则先提出多个词元,再一次性验证,以减少顺序生成步骤。
5. 如何将效率提升与功耗预算联系起来
优势在于,在满足相同响应速度要求的同时,有望在功耗预算内为更多智能体提供服务。需要权衡的是整体配置的功率规模。在Kimi比较中,Vera Rubin的分配功率为100.89kW,高于GB300的60kW,因此评估部署时,除效率倍数外,还应考虑设施能够承受的功率。
GB300结果已通过MLCommons Association验证,而Vera Rubin数据仍是等待同行评审,即由专家审查结果的初步结果,后续可能发生变化。
这些结果的关键不在于争夺最大吞吐量,而在于先确定服务所需的响应速度,再选择满足该条件的单位功耗处理能力。
