Unsloth가 Recursive의 코딩 에이전트 모델 Flint를 공개해, 개발자는 큰 모델을 외부 서버 대신 자신의 컴퓨터에서 실행할 수 있게 됐다. 회사는 짧은 컨텍스트에서 3비트 파일을 24GB 메모리 구성으로 구동할 수 있다고 안내하며, 코딩 도구와 연결하는 방법도 제공한다.
1. 코드 조사부터 테스트 작성까지 겨냥한 모델
Unsloth는 2026년 10월 23일 공개한 v0.1.910-beta 릴리스에서 Flint 지원을 소개했다. Recursive가 개발한 이 모델은 코드베이스 조사, 버그 수정, 기능 구현과 테스트 작성을 겨냥한다. 답을 만들기 위해 내부 계산을 하는 추론과 여러 차례의 도구 사용을 지원하며, 문서의 컨텍스트 한도는 입력과 출력을 합쳐 262,144토큰이다.
전체 파라미터, 모델이 학습해 저장한 수치는 398억 개지만 토큰마다 활성화되는 것은 약 25억 개다. 혼합 전문가 구조는 매번 전체를 계산하는 대신 작업을 맡을 일부 전문가를 고르는 방식으로, 이 모델은 각 전문가 층에서 256개 중 6개와 항상 활성화되는 공유 전문가를 사용한다.
2. 3비트 파일은 24GB 구성에 맞춘 선택지
Unsloth 문서가 안내하는 3비트 파일 UD-Q3_K_XL의 크기는 18.50GB다. 회사는 이 파일이 짧은 컨텍스트에서 24GB 메모리 구성으로 동작한다고 설명한다. 같은 안내에는 메모리 권장 표도 있으며, RAM과 VRAM 또는 통합 메모리를 합친 기준을 제시한다.
표: 양자화별 메모리 권장량
조건: Unsloth 문서의 Flint 하드웨어 요구사항 표, RAM·VRAM 또는 통합 메모리 기준
단위: GB
| 양자화 | 메모리 |
|---|---|
| 2비트 | 13–15 |
| 3비트 | 16–20 |
| 4비트 | 26 |
| 6비트 | 38 |
| 8비트 | 44 |
표의 3비트 권장량은 16–20GB이며, 본문은 짧은 컨텍스트에서 24GB 구성으로 실행하는 사례를 안내한다. 파일을 담는 공간뿐 아니라 대화를 처리할 메모리 여유까지 고려하는 것이 장비 선택의 기준이다.
3. 프로젝트 폴더에서 코딩 에이전트 연결
Unsloth Desktop의 모델 허브에서 파일을 내려받아 실행하거나 llama.cpp로 직접 구동할 수 있다. 코딩 에이전트와 연결하려면 Unsloth와 사용할 에이전트를 설치한 뒤 프로젝트 폴더에서 명령을 실행한다.
아래는 문서에 실린 Claude Code 연결 예시다. 이 명령은 크기 25.05GB의 4비트 파일을 사용하며, 코딩 작업용으로 더 큰 컨텍스트를 잡아 문서의 8천 토큰 실행 예시보다 메모리를 더 쓴다.
unsloth start claude \
--model unsloth/flint-GGUF:UD-Q4_K_XL \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.04. 원본과 압축 모델의 코딩 평가 결과
Recursive의 회사 발표 기준, 원본에 해당하는 BF16과 용량을 줄인 NVFP4 모델은 아래 세 에이전트 평가에서 비슷한 점수를 냈다. 에이전트 점수는 최소 5회 시도에서 한 번의 시도로 성공하는 비율을 평균한 값이다.
표: Flint 원본과 압축 모델의 에이전트 평가
조건: Recursive 회사 발표 기준, 온도 1.0·top-p 0.95·top-k 20, Terminal-Bench는 Terminus 2, SWE-bench는 mini-swe-agent, 최소 5회 시도 평균 pass@1, Terminal-Bench는 웹 검색으로 얻은 해답을 실패 처리
단위: %
| 모델 | Terminal-Bench 2.1 | SWE-bench Pro v2 | SWE-bench Verified |
|---|---|---|---|
| Flint BF16 | 54.9 | 89.7 | 74.2 |
| Flint NVFP4 | 53.7 | 88.5 | 74.1 |
압축 모델은 세 평가에서 모두 원본보다 소폭 낮은 점수를 기록했다. 이 표의 압축 모델은 NVFP4이며, 로컬 실행용 3비트 파일은 GGUF 형식으로 제공된다.
Unsloth 릴리스는 SWE-bench Pro v2에서 Flint 89.7과 Qwen 3.6의 73.8도 함께 소개했다.
5. 메모리 절감의 이익과 긴 작업의 비용
3비트 파일은 큰 모델을 로컬 에이전트와 조합할 때 필요한 저장 공간과 메모리 부담을 낮추는 선택지다. 그 이익을 활용하려면 짧은 컨텍스트로 시작하고, 더 긴 코딩 작업에는 메모리 여유와 추론 시간을 배정하는 식으로 운영 비용을 잡아야 한다.
Unsloth의 회사 발표 기준 처리 속도는 M4 Pro 맥북 프로에서 초당 125토큰 이상, 메모리 64GB인 NVIDIA RTX Spark에서 초당 150토큰 이상이다. 두 수치는 문서에 적힌 각 장비의 실행 사례로 제시됐다.
경쟁 모델의 점수는 개발자 발표값으로 평가 설정이 출처마다 다르며, 위 처리 속도에도 양자화 파일과 컨텍스트 조건은 함께 제시되지 않았다. 모델 카드는, 모델 사용법과 주의사항을 담은 문서로 긴 추론이 지연과 출력 예산 소진을 일으킬 수 있고 잘못된 코드나 도구 호출이 나올 수 있다며, 생성 코드 시험과 중요한 변경 검토를 권고한다.
Flint의 핵심은 3비트 파일로 로컬 코딩 에이전트 접근성을 넓힌 데 있으며, 실행 메모리와 컨텍스트 조건을 함께 고려해야 한다.