엔비디아가 화면을 읽고 도구를 호출하는 인공지능을 개인 기기에서 돌리려는 개발자를 위해 2비트 시각언어 모델을 공개했다. 메모리를 아껴 다른 프로그램과 함께 실행하는 것이 목표다.

1. 무엇을 로컬에서 처리하나

2026년 10월 15일 공개된 Bolt는 텍스트·이미지·동영상을 받아 텍스트를 출력한다.

전체 파라미터는 740억 개이며, 그중 90억 개를 활성화해 계산하는 전문가 혼합 구조다. 모든 부분을 매번 계산하지 않고 필요한 부분을 골라 쓰는 방식이다.

주요 용도는 웹 탐색, 터미널 사용, 도구 호출을 연결하는 로컬 에이전트다. 모델이 도구 실행을 요청하면 애플리케이션이 실행하고 결과를 돌려주는 구조이므로, 모델 배포만으로 작업 자동화가 완성되는 것은 아니다.

OpenMDW-1.1 라이선스에 따라 상업·비상업 용도로 사용할 수 있다.

2. 작은 모델 대신 큰 모델을 압축했다

1200억 파라미터의 상위 시각언어 모델을 Star Elastic으로 줄였다. 이는 메모리 예산에 맞춰 층별 전문가 수와 내부 폭을 고르는 압축 방법이다. 이후 낮은 정밀도에서 생기는 오차를 학습 중 보정하는 양자화 인지 증류를 적용했다. 전문가 가중치는 IQ2_XXS로 요소당 2.0625비트에 저장하되 일부 층에는 더 높은 정밀도를 남겼다.

측정 대상 장비에서는 가중치를 메모리에서 읽어 오는 대역폭이 실행 속도를 주로 제한한다. 구조 압축과 저정밀도 저장으로 가중치의 메모리 사용량을 줄이면 읽어 올 데이터도 줄어 추론 가속에 도움이 된다.

이익은 큰 모델의 능력을 제한된 메모리에 담는 데 있다. 대가는 단순한 파일 변환을 넘어, 압축 후 시각 이해와 에이전트 능력을 회복하는 추가 학습이 필요했다는 점이다. 엔비디아는 같은 메모리 예산에서 작은 모델을 처음부터 학습해 4비트로 줄이는 방식보다 유리했다고 설명한다.

모델 카드의 터미널 작업 평가 점수는 Bolt가 50.98, Qwen3.6이 44.38이다. 다만 일부 지식 정확도·환각 억제 항목에서는 Bolt가 Qwen보다 낮아, 이 에이전트 평가의 우위를 정확도 전반으로 일반화할 수는 없다.

3. 실행 예시는 준비 단계부터 확인한다

모델 카드가 지정한 vLLM 최소 버전의 컨테이너와 커널 준비 예시는 다음과 같다. 서버 실행 명령 전체는 원문의 빠른 시작 절에 있으며, 아래 코드는 그 명령을 대신하지 않는다.

docker run -it --name vllm --gpus all --ipc=host -p 8000:8000 \
  --entrypoint /bin/bash \
  vllm/vllm-openai:nightly-77154ca6116ae34cbfe314beef1016bde9b63989

pip install b12x
vllm download-kernels

24GB라는 모델 크기와 실제 실행에 필요한 메모리는 구분해야 한다. 최대 문맥은 256K 토큰이다. 질문·이미지·대화 이력·도구 결과·생성 답변이 이 공간을 함께 쓰며, 배포 시에는 가용 메모리와 동시 요청 수에 맞춰 줄일 수 있다. 메모리 예산을 겨냥한 구조 탐색 조건은 요청 1개와 128K 문맥이므로, 24GB에서 최대 문맥까지 보장한다는 뜻은 아니다.

사고 추론은 켜거나 끌 수 있다. 사고 과정과 최종 답변은 같은 출력 토큰 예산을 나눠 쓰므로, 답변이 길이 제한으로 잘리면 출력 예산도 확인해야 한다.

4. 속도 수치는 실행 조건과 함께 읽는다

기술 블로그의 속도 측정은 모든 모델에 동일한 메모리 128GB 장비를 사용했다.

코딩 처리량은 AIPerf SPEED-Bench-Coding에서 입력 길이를 통제해 측정했다. AA-AgentPerf Local은 여러 에이전트 작업 경로 전체의 재생 시간을 쟀다. 전자는 높을수록, 후자는 짧을수록 유리한 지표다.

이 모델에 IQ2_XXS 양자화와 LiLiCorr 초안 모델을 적용한 결과는 코딩 처리량 초당 83.99토큰, 작업 경로 재생 시간 600.80초다. 초안 모델은 다음 토큰 후보를 먼저 제안해 추론을 가속하는 보조 모델이다.

대표 기준 모델인 Qwen3.6은 같은 두 지표에서 초당 96.63토큰과 453.97초를 기록했다. Gemma 4도 초당 100.56토큰과 480.68초로, 이 장비·실행 조건에서는 Bolt가 두 소형 전문가 모델보다 처리량이 낮고 재생 시간도 길었다.

반면 Qwen3.8의 초당 28.26토큰과 1043.28초보다는 빨랐다.

비교 조건 확인: 정확도 평가명은 Terminal-Bench 2.1이며, 비교 대상은 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB(IQ2)와 16비트 수치 형식인 BF16의 Qwen3.6-35B-A3B다. 이 정확도 비교는 저정밀도 속도 측정과 같은 조건이 아니다.

실행 조건 확인: 속도는 RTX Spark(Surface Laptop Ultra, 128GB)에서 llama.cpp와 윈도 11 ARM x64로 측정했다. 비교 모델 Qwen3.6 35B-A3B, Gemma 4 26B-A4B, Qwen3.8 27B는 모두 UD-Q4_K_M 양자화를 썼다. 앞의 두 모델에는 추론 가속 방식인 MTP를, 마지막 모델에는 추론 가속 방식인 DFlash를 적용했다. 양자화와 가속 방식이 다르므로 이 결과를 모델 자체의 우열로 해석해서는 안 된다.

5. 배포 전에는 지원 범위를 확인한다

모델 카드 요약은 A100과 H100-80GB 등도 배포 대상으로 든다.

반면 소프트웨어 통합 절은 Blackwell SM120·SM121과 리눅스를 명시한다. 지원 범위 표기가 일치하지 않으므로 실제 대상 장비의 실행 레시피를 확인해야 한다.

Bolt는 터미널 작업 에이전트 평가에서 Qwen3.6보다 높은 점수를 보였지만 별도의 속도 실험에서는 두 소형 전문가 모델보다 느렸으므로, 선택할 때는 특정 에이전트 작업의 평가 결과와 응답 속도를 함께 봐야 한다.