NVIDIA가 GTC Berlin에서 개인용 PC부터 팀용 시스템까지 로컬 AI 기기와 모델 실행 속도 개선을 공개했다. 클라우드 대신 기기나 조직 내부에서 에이전트를 실행하려는 개발자와 팀은 작업 규모에 맞는 장비를 고르고 모델을 공유하기가 쉬워진다.

1. 개인용 PC부터 팀용 시스템까지

RTX Spark는 10월 16일 출시된 Windows 개인용 PC 플랫폼이다. 회사 발표 기준 최대 128GB 통합 메모리와 1페타플롭, 초당 1천조 번 연산하는 성능 단위의 AI 연산을 제공한다. 내려받을 수 있는 데스크톱 에이전트 앱 Underdog는 모델을 기기 안에서 실행해 사용자 데이터가 PC 밖으로 나가지 않도록 한다는 설명이다.

개발자용 DGX Spark 64GB 시스템은 10월 23일부터 파트너를 통해 공급을 시작하며, Qwen3.8 27B 등을 실행할 수 있다.

DGX Spark는 내장 네트워킹과 연결 도구로 여러 시스템을 묶을 수 있다. 회사 발표 기준 수동으로 구성하는 최대 8대 클러스터, 여러 시스템을 묶어 쓰는 구성은 통합 메모리 1TB를 제공해, 작은 팀이 같은 모델을 공유하면서 각자 작업을 진행하는 용도로 쓸 수 있다.

회사 발표 기준 팀용 DGX Station은 748GB의 통합 메모리와 최대 20페타플롭 AI 성능을 갖췄고, GLM 5.3 같은 모델로 30명이 넘는 사용자에게 클라우드 모델과 비슷한 속도로 응답할 수 있다.

2. llama.cpp와 vLLM의 가속 결과

NVIDIA는 llama.cpp와 vLLM 오픈소스 커뮤니티와 협력해 에이전트 작업의 추론을 가속했다. 다음 출력을 미리 추측해 생성을 앞당기는 추측 디코딩을 개선한 것이 핵심이다. vLLM에는 Qwen 모델의 입력 처리 계산을 가속하는 커널, 특정 계산을 맡는 최적화 코드도 추가했다.

회사 발표 기준 llama.cpp에서 Qwen 3.8 Flash Next의 에이전트 작업은 RTX PRO 6000 Blackwell에서 최대 1.4배 빨라졌다. Windows와 Q4_K_M 양자화, 수치를 낮은 정밀도로 표현하는 기법을 사용해 9월 1일 버전 대비 작업 완료 시간을 비교한 결과다.

회사 발표 기준 vLLM에서 Qwen3.8 27B 에이전트 작업은 DGX Spark에서 최대 1.3배 빨라졌다. 로컬 에이전트 벤치마크의 완료 시간을 9월 1일 구성과 비교한 수치다.

회사 발표 기준 DGX Station에서 GLM 5.3 Flash의 처리량, 일정 시간 동안 처리한 작업의 양은 최대 1.2배 높아졌다. 9월 1일 구성을 기준으로 코딩 벤치마크의 동시 요청 8·16·32건에서 디코딩 처리량을 평균한 결과다.

세 배수는 모델과 기기, 측정 항목이 달라 직접적인 성능 순위로 읽을 수 없다.

3. 로컬 모델과 실행 자산 확대

Recursive Superintelligence는 코딩 작업용 로컬 모델 Recursive Flint를 공개했다. 전체 400억 매개변수, 모델 동작을 정하는 학습된 값 가운데 토큰마다 25억 개만 활성화해 계산하는 구조다. 회사 발표 기준 64GB RTX Spark에서 초당 220토큰을 넘겼다.

회사 발표 기준 전용 커널은 모델 가중치, 학습으로 정해진 모델 내부 수치를 바꾸지 않고 RTX Spark의 생성 속도를 55% 높였다. 모델 가중치는 Apache 2.0 라이선스로 공개됐으며, 개인용 PC부터 개발자용 시스템까지 NVIDIA 로컬 하드웨어에서 실행할 수 있다.

NVIDIA는 메모리 사용량을 줄인 모델 가중치 묶음도 공개했다. Qwen3.8-Flash-Next-FP4-Local은 DGX Spark 128GB 한 대에서 실행할 수 있다. 모델이 차지하는 메모리를 줄여 대화 문맥을 처리하는 데 필요한 여유 공간을 남기는 접근이다.

4. 여러 기기와 모델을 다루는 관리 기능

NVIDIA Sync는 DGX Spark 최대 8대 구성을 지원하며, Linux 기반 DGX Station 두 대를 연결하는 기능도 추가했다.

이달 말에는 Model Launcher가 제공될 예정이다. 이 도구는 시스템 구성에 맞는 모델과 컨테이너, 실행에 필요한 프로그램과 설정을 묶은 단위를 내려받아 OpenCode에 연결한다. 개발자는 모델을 고른 뒤 실행 환경을 갖추고 작업 도구에 붙이는 과정을 줄일 수 있다.

Linux 기반 DGX Station에는 NVIDIA Cloud Functions 조기 접근도 예정돼 있다. 팀은 로컬 모델 엔드포인트, 모델 기능에 접속하는 주소를 공유 목록에 등록하고 OpenAI 호환 진입점 하나로 접근할 수 있다. 이를 통해 구성원은 기기에 직접 접속하지 않고 공유 모델을 사용할 수 있으며, 애플리케이션 코드를 바꾸지 않고 엔드포인트의 모델을 바꿀 수 있다고 NVIDIA는 밝혔다.

5. 성능과 운영 부담의 이동

팀은 데이터를 로컬에 두면서 모델을 공동으로 쓰는 이익을 얻고, 그 대가로 클러스터의 수동 구성과 기기 관리 작업을 맡는다. 연결 도구와 모델 실행 도구는 이 작업을 줄이는 역할을 한다. 성능 가속과 함께 관리 기능이 확대된 이유도 여러 개발자가 같은 로컬 자원을 쓰는 환경에서 찾을 수 있다.

이번 발표의 무게중심은 개인이 모델을 돌리는 데서 팀이 로컬 추론 자원을 공유하고 관리하는 단계로 옮겨가는 데 있다.