엔비디아가 DGX Spark를 최대 8대까지 묶는 클러스터, 여러 장비를 묶어 운영하는 구성 지원을 발표했다. 통합 메모리 1TB로 더 큰 모델을 로컬에서 실행하고, 여러 모델을 함께 운영하거나 소규모 모델을 학습할 수 있어 개발자 선택지가 넓어진다.
1. 1TB 메모리로 대형 모델 실행
엔비디아는 GTC 베를린에서 8노드 클러스터의 공식 지원을 발표했다. 한 대의 통합 메모리는 128GB, 4대는 512GB, 8대는 1TB다. 회사는 4노드에 담지 못하던 Z.ai의 GLM 5.3 전체 모델(753B)을 실행할 수 있다고 설명했다.
회사 발표 기준, 8노드에서 GLM 5.3 Flash의 생성 속도는 약 초당 80토큰이었다. 별도로 측정한 전체 GLM 5.3 모델의 결과는 아래와 같다.
표: GLM 5.3 전체 체크포인트 처리량
조건: 8노드 DGX Spark, nvidia/GLM-5.3-NVFP4(약 470GB), MTP3 사용, 입력 처리 측정은 요청당 입력 길이 8K
단위: TPS(초당 토큰)
| 동시 요청 | 입력 처리 총합 | 입력 처리 사용자당 | 토큰 생성 총합 | 토큰 생성 사용자당 |
|---|---|---|---|---|
| 1 | 1,600 | 1,600 | 31 | 31 |
| 4 | 1,600 | 750 | 51 | 21 |
| 8 | 1,600 | 473 | 67 | 18 |
동시 요청을 늘리면 전체 토큰 생성량은 늘고 사용자당 속도는 낮아진다. 여러 사람을 함께 처리할지, 한 사람에게 빠르게 응답할지에 따라 운영 선택이 달라진다.
2. 연결 방식에 따라 달라지는 성능과 비용
모델 연산을 여러 노드로 나누면 노드끼리 데이터를 주고받아야 한다. 엔비디아가 평가한 RoCEnante는 스위치 연결에서 데이터를 직접 교환하고 각 노드에서 더해 통신 단계를 줄인다.
회사 발표 기준, Qwen3.8-27B-NVFP4의 토큰 생성 성능은 다음과 같이 늘었다. 각 배수의 기준은 단일 노드다.
표: 통신 방식별 토큰 생성 성능 향상
조건: 스위치 연결, Qwen3.8-27B-NVFP4, 추측 디코딩 비활성화
단위: 배수
| 노드 | RoCEnante 사용 | RoCEnante 미사용 |
|---|---|---|
| 1 | 1.00 | 1.00 |
| 4 | 3.06 | 2.56 |
| 8 | 4.43 | 3.05 |
통신 단계가 줄어드는 대신 각 노드의 전송량은 늘어난다. 큰 메시지나 많은 노드·동시 요청에서는 이 부담이 커지므로, 기본 통신 방식인 NCCL이 더 유리하다는 것이 회사 설명이다.
3. 노드를 늘릴 때 얻는 처리량
회사 발표 기준, 같은 모델·입출력 길이에서 연결 구조별 성능은 아래와 같다. 배수는 같은 정밀도의 단일 Spark 기준이며, 스위치 구성에는 RoCEnante를 사용했다.
표: Qwen3.8-27B의 연결 구조별 성능
조건: NVIDIA/Qwen3.8-27B(NVFP4), llama-benchy, 입력 8192토큰·출력 256토큰, 동시 요청 1, 추측 디코딩·MTP 비활성화
단위: 처리량은 초당 토큰
| 노드 | 연결 구조 | 입력 처리량 | 입력 배수 | 생성 처리량 | 생성 배수 |
|---|---|---|---|---|---|
| 1 | — | 2,635 | 1.00 | 11.86 | 1.00 |
| 2 | 직접 연결 | 3,285 | 1.25 | 21.71 | 1.838 |
| 4 | 물리 링 | 4,446 | 1.69 | 32.82 | 2.77 |
| 4 | 스위치(RoCEnante) | 4,556 | 1.73 | 36.34 | 3.06 |
| 8 | 물리 링 | 4,962 | 1.88 | 40.11 | 3.38 |
| 8 | 스위치(RoCEnante) | 5,105 | 1.94 | 52.58 | 4.43 |
8노드에서 스위치와 RoCEnante를 쓴 구성이 가장 높은 생성 처리량을 냈다. 노드를 고리처럼 잇는 링은 비용과 설치 절차를 줄이는 선택지이며, 노드를 독립 그룹으로 나누려면 스위치가 필요하다.
4. 쉬운 요청은 작은 모델로 분산
NVIDIA NeMo Switchyard는 쉬운 요청과 어려운 요청을 나눠 알맞은 모델로 보낸다.
회사 시제품은 쉬운 작업에 OpenBMB의 MiniCPM5 2B, 어려운 작업에 Qwen3.8 Flash Next를 사용했다.
회사 발표 기준, 어려운 사례를 포함한 92건의 도구 사용 평가에서 이 구성은 91/100점으로 Qwen 단독과 같은 점수를 냈다.
8노드에서 Qwen 복제본 3개에 각각 2노드, MiniCPM 복제본 2개에 각각 1노드를 배정했다. 회사 발표 기준, 요청 절반을 Qwen에 보내면 Qwen 단독보다 총 처리량이 약 1.5배, 4분의 1을 보내면 약 3배였다. 이처럼 모델별로 노드를 나누는 구성에는 스위치를 쓴다.
5. 작은 모델 학습도 로컬에서 확장
엔비디아는 약 896.5M 매개변수의 nanochat을 처음부터 학습했다. 노드마다 모델 사본을 두고 학습 단계마다 변경 정보를 맞추는 구조여서 노드를 늘린 만큼 처리량도 늘기 쉽다는 설명이다.
표: nanochat 사전학습 확장
조건: DGX Spark 1~8노드, nanochat 약 896.5M, 스텝당 글로벌 배치 524,288토큰, GPU 마이크로배치당 시퀀스 32개
| 노드 | 처리량(초당 토큰) | 속도 향상(배) | 확장 효율(%) |
|---|---|---|---|
| 1 | 8,741 | 1.00 | 100.0 |
| 2 | 17,202 | 1.97 | 98.4 |
| 4 | 33,640 | 3.85 | 96.2 |
| 8 | 68,079 | 7.79 | 97.4 |
회사 발표 기준, 8노드는 단일 노드 대비 7.79배의 학습 속도를 냈다.
관리 도구 NVIDIA Sync의 8노드 지원은 2026년 말까지 제공될 예정이다.
8노드 DGX Spark는 대형 모델 실행과 로컬 학습의 범위를 넓히지만, 실제 이득은 요청 속도와 총 처리량, 네트워크 비용 가운데 무엇을 우선하느냐에 달려 있다.