Unsloth v0.1.908-beta: Nemotron 3.5·Muse Spark Open 로컬 실행, 코딩 에이전트 프롬프트 캐싱 개선

1. 로컬에서 실행할 모델이 늘었다

2026년 10월 15일 공개된 Unsloth v0.1.908-beta는 엔비디아와 메타의 새 모델을 지원한다. 단순히 모델을 추가한 것뿐 아니라, 코딩 에이전트가 반복 요청을 처리하는 방식도 개선한 배포다.

Nemotron 3.5 Bolt는 모델을 구성하는 수치인 파라미터 740억 개 중 90억 개가 계산에 참여하는 모델이다. 텍스트·이미지·비디오 입력과 도구 호출을 지원하며, 한 번에 다룰 수 있는 문맥 범위는 최대 128K토큰이다. 토큰은 모델이 글을 처리하는 단위다.

원형 모델인 Nemotron 3.5 Super VL은 문서 이해와 컴퓨터 조작, 장기 실행 에이전트를 겨냥한다. 릴리스 노트는 입력 100K토큰에서 Inkling Small과 비슷한 지능을 유지하면서 생성이 약 5배 빠르다고 설명한다.

메타의 Muse Spark Open은 텍스트·이미지·비디오·오디오를 입력받는다. 전체 파라미터 8160억 개 중 약 427억 개를 활성화하며, 2비트 양자화에서 약 256GB 메모리가 필요하다고 안내한다. 양자화는 모델의 수치를 적은 비트로 저장하는 방식이다.

2. 캐시는 앞선 대화의 계산을 재사용한다

프롬프트 캐싱은 이미 처리한 대화의 계산 결과를 남겨 다음 요청에 다시 쓰는 기능이다. 릴리스 노트에 따르면 Claude Code를 로컬 GGUF 모델에 연결할 때 후속 대화의 재처리가 줄어든다. GGUF는 여기서 로컬 실행용 모델 파일 형식이다.

수정 목록에는 대화 중간에 들어간 앤트로픽의 시스템 메시지, 즉 모델에 주는 지침의 위치를 유지해 새 세션에서도 캐시를 재사용하는 변경이 담겼다. Messages API와 Responses API에서 캐시 적중, 즉 저장된 계산을 재사용했는지도 보고하도록 했다.

새 Claude Code 세션의 첫 응답 시작은 최대 4배 빨라진다고 밝혔다. 이는 응답 전체의 생성 속도가 4배라는 뜻은 아니다. 앞서 소개한 생성 속도와 이 응답 시작 수치의 측정 장비·상세 비교 조건, 후속 대화의 재처리 감소 비율은 제시되지 않았다. 따라서 이 수치를 다른 코딩 도구의 모든 요청에 적용해서는 안 된다.

3. 앱에서 시작하거나 API로 연결한다

Bolt 공식 가이드는 Unsloth Desktop에서 모델을 검색하고 원하는 양자화 파일을 내려받아 대화하는 경로를 제시한다. 추론 설정은 자동 구성되며, 문맥 길이는 4K토큰에서 시작해 메모리가 허용하는 만큼 최대 128K토큰까지 늘리도록 권한다.

다른 애플리케이션에 연결하려면 다음 원문 예시로 API 서버를 띄울 수 있다. 문맥 길이 4096과 동시 처리 수 1을 지정하고, 같은 컴퓨터에서 접속할 주소와 포트를 설정한 예시다.

unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
    --host 127.0.0.1 --port 8001

4. 실행 가능 용량과 여유 메모리는 다르다

Bolt의 2비트 파일은 다운로드 크기가 22GB이고, 가이드의 최소 메모리 추정치는 짧은 문맥에서 24~32GB다. 릴리스 요약의 24GB만 보기보다, 본문과 가이드가 안내하는 약 32GB를 기준으로 준비할 필요가 있다. 48~64GB는 더 여유 있는 구성으로 제시된다.

작은 파일로 로컬 실행에 접근하기 쉬워지는 대신, 긴 문맥과 이미지·비디오 입력에는 계산을 보관할 캐시와 시각 입력을 연결하는 변환기에 추가 메모리가 든다. Bolt는 출력 가속용 보조 모델도 기본 사용해 약 1~2GB를 더 요구하지만, 릴리스 노트에 따르면 설정에서 끌 수 있다.

이번 배포는 로컬 모델의 선택 폭과 대화 계산의 재사용을 함께 개선했지만, 도입 판단은 최소 용량보다 작업에 맞는 메모리 여유와 응답 시작 지연을 기준으로 해야 한다.