엔비디아가 긴 문서와 이미지·영상을 함께 다루고, 다음에 쓸 내용을 미리 예측하는 모델을 공개했다. 문서 분석이나 코딩 지원 서비스를 만드는 개발자는 학습용과 배포용 가중치를 고를 수 있지만, 긴 입력을 받는 능력과 생성 속도는 구분해서 살펴야 한다.

1. 정밀도가 아니라 용도부터 고른다

공개 대상은 NVIDIA Nemotron 3.5 Super VL 120B-A12B다. 세 모델 카드에 적힌 공개일은 2026년 10월 15일이며, 상업·비상업 사용은 OpenMDW 1.1 라이선스를 따른다.

BF16은 맞춤 학습과 기준 평가용 가중치다. NVFP4는 수치 표현의 정밀도를 줄이는 양자화로 메모리 요구량을 낮춘 배포본이다.

Base-BF16은 자체 후학습의 출발점이다. 기본 모델 카드도 채팅·추론·도구 호출에는 후학습된 배포본을 사용하도록 안내한다. 따라서 세 공개본을 단순한 정밀도 세 단계로 보면 안 된다.

2. 긴 문맥의 크기와 계산 규모는 다르다

모델은 Mamba-2와 어텐션, 필요한 전문가 부분망만 골라 계산하는 MoE를 섞고 시각 입력 처리부를 연결한 구조다. 전체 매개변수는 1200억 개지만 계산에 활성화되는 것은 120억 개로 제시돼 있다.

최대 문맥은 100만 토큰이다. 토큰은 모델이 처리하는 입력·출력의 조각으로, 질문·시각 입력·대화 기록·도구 결과·생성 답변이 하나의 창을 나눠 쓴다. 문서에 창을 가득 쓰면 답변에 쓸 몫도 줄어드는 셈이다.

이 크기는 모델의 상한이지 배포 설정의 보장이 아니다. 카드에 따르면 메모리와 동시 처리량 때문에 창을 줄일 수 있으며, 실제로 DGX Spark용 설정 예시 가운데 하나는 131,072토큰을 쓴다.

3. 미리 쓰는 기능과 속도 보장은 다르다

다중 토큰 예측인 MTP는 뒤에 올 토큰을 재귀적으로 예측한다. 이를 활용한 추측 디코딩은 답변의 초안을 먼저 만들고 검증하는 방식으로 이해할 수 있다.

vLLM과 SGLang의 내장 예측 기능을 쓰는 배포 예시는 별도 초안 모델을 내려받지 않아도 된다.

다만 DGX Spark에는 별도 초안 모델인 LiLiCorr 사용을 권장한다.

추측 디코딩의 구체적인 속도 향상 수치는 제시되지 않았다. 카드는 장비·요청 길이·동시 처리량에 따라 성능이 달라진다고 설명한다. 일반 생성과 비교할 때는 모델·작업·샘플링·나머지 서버 설정을 고정하고 추측 설정만 제거하도록 안내한다.

4. 입력과 출력 예산을 함께 잡는다

입력 규격은 텍스트·이미지·최대 2분의 영상이며 출력은 텍스트다. 문서는 페이지 이미지와 텍스트로 넣을 수 있다. 영상 예시는 초당 2프레임, 최대 256프레임을 추출하며, 1080p 영상에는 초당 1프레임과 최대 128프레임을 안내한다.

추론 과정 생성은 채팅 템플릿의 enable_thinking으로 켜고 끈다. 추론 토큰과 최종 답변이 max_tokens 예산을 공유하므로 답변 길이만 보고 예산을 정하면 부족할 수 있다.

카드의 서버 실행 절차를 마친 뒤에는 다음 원문 명령으로 API 응답 여부를 확인한다. 이는 모델 목록 확인이지 실제 작업의 품질 평가가 아니다.

curl --fail http://localhost:8000/v1/models

5. 장비 절감에는 작업별 품질 검증이 따른다

기준본 배포표는 H100 4개 구성을, 양자화본은 같은 계열 장비 2개 구성을 제시한다. 이는 배포 선택지의 차이이며 같은 처리량을 보장하는 비교는 아니다.

양자화본 카드의 평가는 가중치 외 설정·평가 도구·매개변수를 고정했다. 기준본에서 양자화본으로 바꾸면 Terminal-Bench 2.1은 66.70에서 60.80으로, DeepSWE 오프라인은 24.65에서 18.2로 낮아졌다.

같은 조건에서 GPQA-Diamond는 89.52에서 89.90으로 올랐고, AA-Omniscience 환각률은 30.0에서 27.7로 낮아졌다. 메모리 부담을 줄이는 이익 대신 작업별 품질 변화의 검증 부담이 생기므로 일률적인 성능 유지로 해석하기 어렵다.

일부 시각 평가에는 공개 평가 도구에 아직 통합되지 않은 항목이 있다. 카드는 이들에 공식 구현이나 향후 공개할 내부 평가 도구를 썼다고 밝혀, 재현 경로에도 차이가 있음을 알린다.

이번 공개의 선택 기준은 최대 문맥 하나가 아니라 학습 목적, 실제 배포 조건, 작업별 품질을 함께 맞추는 데 있다.