NVIDIA가 새 학습 시스템으로 기존 제품보다 GPU당 최대 2배 성능을 냈다고 발표했다. 모델 개발팀은 같은 수의 GPU로 학습 대기 시간을 줄일 새 선택지를 얻었으며, 회사는 클라우드 인프라 협력사를 통해 시스템을 공급하고 있다고 밝혔다.
1. 같은 모델과 GPU 수로 확인한 세대 차이
Vera Rubin NVL72는 MLPerf Training v6.1에 처음 참가해 7개 벤치마크 가운데 6개에서 가장 빠른 학습 시간을 기록했다는 것이 회사 발표다.
MLCommons에 따르면 이 시험은 정해진 데이터로 모델을 목표 품질까지 학습하는 시간을 잰다. 폐쇄 디비전은 기준 구현과 같은 모델을 사용해 하드웨어와 소프트웨어를 비교하는 부문이다.
가장 큰 세대 차이는 대규모 통신이 필요한 DeepSeek-V3 671B에서 나왔다. 회사 발표 기준 새 시스템은 GPU 1,024개를 16개 랙, 서버를 모아 설치하는 장비 틀에 배치해 4.14분을 기록했다. 아래는 회사가 공개한 동일 모델·GPU 수의 세 세대 비교다.
표: 동일 규모에서 비교한 세 세대의 학습 시간
조건: MLPerf Training v6.1 폐쇄 디비전, DeepSeek-V3 671B, 각 NVL72 시스템의 GPU 1,024개 구성
단위: 분
| 시스템 | 학습 시간 |
|---|---|
| GB200 NVL72 | 12.36 |
| GB300 NVL72 | 8.03 |
| Vera Rubin NVL72 | 4.14 |
회사 발표 기준 최적화된 GB300과 같은 GPU 수로 비교했을 때 이 모델의 GPU당 성능은 약 2배였다. 다른 모델에서도 개선이 이어졌지만 폭은 1.4~1.6배였다.
2. 최고 속도와 확장 효율은 서로 다른 기록
회사 발표 기준 GB300은 같은 모델을 GPU 10,240개, 160개 랙에서 1.38분에 학습해 이번 회차의 절대 최단 시간을 냈다. GPU당 효율을 높이는 선택과 더 많은 GPU를 동원해 완료 시점을 앞당기는 선택을 각각 보여준다.
Vera Rubin은 이 모델에서 GPU를 256개에서 1,024개로, 랙을 4개에서 16개로 늘릴 때 확장 효율이 97%를 넘었다는 것이 회사 설명이다. 자원을 늘린 만큼의 속도 향상을 대부분 유지했다는 의미다.
랙 안에서는 NVLink 6가 GPU 72개와 CPU 36개를 연결해 GPU당 3.6TB/s, 랙당 260TB/s의 대역폭, 초당 전송 가능한 데이터의 양을 제공하며, 랙 간 통신망과 함께 대규모 연산을 뒷받침한다.
3. 새 후학습 시험과 CPU의 역할
새로 포함된 Qwen3.5 397B GRPO는 모델이 행동을 시도하고 평가받은 결과를 다시 학습하는 강화학습 후학습 시험이다. 회사 발표 본문 기준 GPU 1,024개에서 Vera Rubin은 10.44분, GB300은 13.78분을 기록했다.
추론을 수행하는 소프트웨어도 두 가지로 제출했다. 같은 규모의 Vera Rubin 결과는 TensorRT-LLM에서 10.44분, vLLM에서 10.94분이었다.
후학습에는 GPU 연산뿐 아니라 행동을 시험할 시뮬레이션 환경, 현실 상황을 모의해 실행하는 공간을 돌리는 CPU 자원도 필요하다. 회사는 Vera CPU 랙 하나의 CPU 256개가 2만2,500개가 넘는 강화학습 환경을 동시에 지원한다고 설명했다.
4. 기존 시스템에도 이어진 소프트웨어 개선
회사는 제출 마감 뒤 각 모델의 하드웨어와 설정을 유지하고 새 소프트웨어 빌드로 재실행했다. 다음 시간은 모두 회사가 공개한 참고 결과이며, 각 문단에서 앞의 값이 Vera Rubin, 뒤의 값이 GB300이다.
Llama 3.1 8B는 GPU 72개에서 6.140분과 9.211분이었다. gpt-oss 20B는 GPU 64개에서 8.080분과 13.151분이었다.
DLRMv4는 GPU 128개에서 1.628분과 2.940분이었다. 기존 GB300의 공식 제출 시간은 3.871분이어서 새 빌드의 개선 효과는 이전 세대에서도 나타났다.
회사 표의 강화학습 성능 배수는 GPU 64개 조건이고 본문의 학습 시간은 1,024개 조건이다. 재실행 결과는 MLCommons 검증과 MLPerf 리뷰를 거치지 않았으며 공식 결과와 측정 방식이나 구현이 다를 수 있다.
5. 학습 시간 단축의 이익과 클러스터 비용
학습 시간을 줄이면 같은 기간에 더 많은 실험을 할 여지가 생긴다. 그 이익을 얻는 데는 대규모 GPU 클러스터, 여러 GPU를 묶어 운용하는 시스템과 랙 간 연결을 운영하는 부담이 따르고, 후학습에서는 CPU 시뮬레이션 자원까지 함께 배치해야 한다. 개발팀은 목표 모델의 학습 시간과 전체 시스템 구성을 함께 놓고 도입 규모를 정할 수 있다.
Vera Rubin의 첫 성적에서 실용적인 선택 기준은 최대 성능 배수보다 목표 모델의 대기 시간을 줄이는 데 필요한 전체 시스템 규모다.
