NVIDIA가 여러 차례 대화와 도구 사용을 이어가는 AI 업무의 추론 시험에서 새 시스템의 잠정 결과를 공개했다. 회사 발표 기준으로 이전 세대보다 전력당 처리량은 5~10배, 같은 동시 사용자 수에서의 응답 속도는 3~5배 높아, 에이전트 서비스를 운영하는 기업에 전력 예산 안에서 처리 용량을 늘릴 가능성을 제시했다.
1. 에이전트 업무의 속도와 용량을 함께 측정
MLPerf Endpoints v1.0은 코딩과 기업 업무 흐름을 API로 실행해 서비스의 처리 용량과 응답성을 함께 살핀다. 에이전트는 추론하고 도구를 호출한 뒤 응답하는 과정을 여러 번 거치므로, 한 번의 답변 속도만으로는 실제 작업 중 체감 성능을 판단하기 어렵다.
결과 페이지의 에이전트 보고서에서 각 점은 동시 사용자 수를 달리한 한 번의 실행이다. 시스템 처리량은 시스템 전체의 초당 토큰 수이고, 종단 간 상호작용은 작업 전체에서 사용자 한 명이 체감하는 초당 토큰 수다.
성능 실행 중 도구 호출과 업무 흐름의 의도를 기준값과 대조하며, 문제 해결 능력은 별도의 SWE-bench Verified 평가로 살핀다.
2. 회사 발표 기준으로 처리량 효율 앞서
비교 대상은 Vera Rubin NVL72와 이전 세대 GB300 NVL72다. 전력 효율은 시스템에 배정된 전력 1kW당 처리량으로 비교했으며, 모델별 최소 응답 속도를 충족하는 실행 중 각 플랫폼의 가장 높은 값을 골랐다.
회사 발표 기준으로 Kimi K3의 전력당 처리량은 10배, DeepSeek-V4.1-Flash는 9배, Qwen3.6-35B-A3B는 5배다. 같은 동시 질의 수에서의 사용자당 응답 속도는 각각 3배, 5배, 3배로 제시됐다.
처리량 비교의 응답 속도 하한은 Kimi가 사용자당 초당 50토큰, DeepSeek가 280토큰, Qwen이 410토큰이다. 응답 속도 배수는 Kimi와 DeepSeek에서 동시 질의 1,024건, Qwen에서 256건을 맞춰 비교했다. 세 모델은 데이터셋도 달라 각 배수는 해당 모델과 업무에 대한 결과다.
3. 동시 질의를 늘리면 응답성과 처리량이 맞바뀐다
Kimi의 잠정 제출에서 가속기 32개를 쓴 같은 시스템의 부하별 기록을 보면, 동시 질의가 늘수록 배정 전력당 처리량이 높아졌다. 아래는 공개 결과 데이터에서 같은 제출과 전력 조건의 실행 세 개를 뽑은 값이다.
표: Vera Rubin의 Kimi 부하별 전력당 처리량
조건: MLPerf Endpoints v1.0, Standardized 부문, Available 범주, Vera Rubin NVL72 가속기 32개, 배정 전력 100.89kW, Kimi K3, agentic_combined, TensorRT-LLM과 Dynamo, 최종 구성의 온라인 실행에서 동시 질의 수 변경
단위: 동시 질의 수는 건, 전력당 처리량은 토큰/초/kW
| 동시 질의 수 | 전력당 처리량 |
|---|---|
| 512 | 254.6 |
| 1024 | 410.5 |
| 1536 | 478.6 |
회사 발표 기준으로 동시 질의 1,024건에서 전체 처리량은 초당 41,414.2토큰, 사용자당 응답 속도는 초당 50.4토큰이었다. 질의를 1,536건으로 늘린 실행은 처리량 효율이 더 높지만 사용자당 응답 속도는 비교 하한인 초당 50토큰 아래로 내려갔다.
10배 효율 비교의 GB300 기준점은 가속기 48개, 전력 60kW, 동시 질의 48건으로 전체 초당 2,210.4토큰과 사용자당 초당 56.2토큰을 기록한 실행이다. 반면 응답 속도 3배 비교는 GB300도 동시 질의 1,024건으로 늘렸을 때의 사용자당 초당 16.8토큰을 기준으로 삼았다.
4. 이전 대화를 재활용하고 생성 단계를 줄였다
NVIDIA는 빠른 메모리 접근과 행렬 연산 가속, GPU 간 통신에 더해, 매번 대화 이력을 처음부터 처리하는 수고를 줄이는 상태 재활용, 이전 처리 결과를 다시 쓰는 방식과 입력·생성 처리 분리, 입력과 생성을 따로 처리하는 방식도 적용했다고 설명한다.
모델별로는 DeepSeek의 전용 연산 프로그램, 특정 계산에 맞춰 만든 프로그램이 데이터 이동을 줄이고, Qwen은 여러 토큰을 먼저 제안한 뒤 한꺼번에 검증해 순차 생성 단계를 줄였다고 회사는 밝혔다.
5. 효율 개선을 전력 예산과 연결하는 법
이점은 같은 응답 속도 요구를 충족하면서 전력 예산 안에서 더 많은 에이전트를 서비스할 여지가 커진다는 점이다. 대가로 살펴볼 것은 구성 전체의 전력 규모다. Kimi 비교에서 Vera Rubin의 배정 전력은 100.89kW로 GB300의 60kW보다 높아, 도입 검토에는 효율 배수와 함께 설비가 감당할 전력도 들어간다.
GB300 결과는 MLCommons Association의 검증을 마쳤고 Vera Rubin 수치는 동료 검토, 전문가가 결과를 살펴보는 절차 대기 중인 잠정 결과로 변경될 수 있다.
이번 결과의 핵심은 최대 처리량 경쟁보다 서비스가 요구하는 응답 속도를 먼저 정하고, 그 조건을 충족하는 전력당 처리 용량을 고르는 데 있다.
