Unsloth가 새 경량 언어 모델 파일을 공개하고, 구형 그래픽카드에서 답변 생성과 이미지 모델 실행을 개선했다. 기존 NVIDIA 그래픽카드를 쓰는 개발자는 이미지 모델 선택 폭이 넓어지고, 기본 설정에서도 답변을 더 빠르게 생성할 수 있다는 회사 발표다.

1. Qwen3.8-27B GGUF를 로컬에서 실행

11월 11일 공개된 이번 버전은 Qwen3.8-27B를 압축된 모델 파일 형식인 GGUF로 제공한다. 배포 형식은 Dynamic v3.1이며, Unsloth에서 로컬로 실행할 수 있다고 안내한다.

GGUF를 계산에 쓸 수 있도록 풀어내는 역양자화도 손봤다. 복원 결과를 llama.cpp와 비트 단위로 일치시키고, 계산용 자료형, 계산값을 표현하는 숫자 형식으로 한 번만 반올림하도록 했다.

Studio의 이미지 생성 경로에서는 저비트, 적은 비트 수로 값을 저장하는 GGUF를 불러오는 지원 범위도 넓어졌다. 새 언어 모델 파일 공개와 별개로, 기존 이미지 모델 파일을 읽고 계산하는 경로까지 함께 정비한 릴리스다.

2. T4에서 모델 생성은 기본 2~8배 빨라져

FastModel 계열은 답변 생성 단계에 CUDA 그래프를 기본 적용했다. 반복할 계산 흐름을 미리 묶어 재사용하는 방식이다. 회사 발표 기준 T4의 생성 속도는 2~8배 향상됐으며, 출력 토큰도 기존 실행 방식과 같다고 릴리스 노트는 설명한다.

개발자에게 중요한 점은 생성량을 줄이는 대신 생성 실행 경로를 바꿨다는 데 있다. 별도로 가속을 켜는 설정 없이 기본 경로에 개선을 반영했다.

Qwen3.5·Qwen3.6 계열에서는 이전 계산을 재활용하는 캐시에도 이 가속 경로를 지원한다.

Gemma 4의 생성 단계도 지원 대상에 포함됐다.

생성 중 사용하는 캐시 공간을 필요에 따라 늘리는 기능은 선택 사항으로 추가됐다. 기본 생성 가속과 함께, 캐시 운용 방식을 선택할 여지도 마련한 것이다.

3. 구형 GPU의 이미지 모델 실행과 메모리

INT8·FP8 이미지 모델을 구형 NVIDIA GPU에서도 불러올 수 있게 됐다. 이전에는 실행을 거부하던 정밀도 조합의 지원을 넓힌 것이다.

FLUX.3의 검은 이미지 출력 문제도 수정했다. 회사 발표 기준 FLUX.2와 FLUX.3은 이미지 디코딩 때 그래픽 메모리를 36~43% 덜 쓰면서 속도는 같다.

T4의 FLUX.3에서는 입력 정보의 중요도를 계산하는 어텐션을 16비트 부동소수점으로 실행하도록 바꿨다. 회사 발표 기준 이 변경으로 이미지당 생성 시간은 GGUF에서 15%, INT8에서 34% 줄었다.

별도로 중간 계산값의 크기를 조정해 낮은 정밀도를 유지하는 변경에서는, 회사 발표 기준 같은 카드의 이미지당 생성 시간이 INT8에서 24%, GGUF Q8_0에서 73% 줄었다.

가중치, 모델이 학습해 저장한 수치들을 단계마다 다시 복사하는 대신 시스템 메모리의 사본을 가리키도록 한 변경도 있다. 회사 발표 기준 해당 카드에서 FLUX.3의 GGUF Q8_0를 실행할 때 이미지당 생성 시간이 11% 줄었다.

Qwen-Image-2.1에서는 문장을 이미지 생성용 정보로 바꾸는 텍스트 인코더를 제공된 INT8 버전으로 불러오도록 했다. 회사 발표 기준 T4 Turbo·INT8 조건의 이미지당 생성 시간은 변경 전 82.7초에서 변경 후 31.9초로 줄었다.

이 결과들은 각 변경 전후에 걸리는 시간이 줄었음을 보여 준다. 위 수치들은 모델·양자화, 수치를 적은 비트로 표현하는 기법·수정 사항이 달라 하나의 성능 순위로 비교할 수 없다.

4. 학습은 지원 모델과 영상 데이터 확대

긴 문맥을 여러 장치에 나눠 처리하는 컨텍스트 병렬 학습도 지원 대상을 늘렸다. Kimi-Linear와 DeepSeek가 새 지원 대상에 포함됐다.

MiniMax와 Gemma 4 텍스트 모델도 지원한다.

영상 입력을 지원하는 비전 언어 모델, 이미지와 문장을 함께 처리하는 모델의 학습에서는 데이터셋의 video 열을 버리던 문제를 고쳤다. 영상 학습을 준비하는 개발자에게는 속도보다 학습 데이터가 제대로 반영되는지가 핵심인 변경이다.

5. 호환성 확대에 맞춰 메모리 예산도 조정

구형 카드에서 실행 가능한 모델이 늘어나는 이익과 함께, 계산 중 필요한 메모리를 반영하는 방식도 바뀌었다. FP8은 가중치 저장에만 쓰는 방식으로 호환성을 확보했고, FLUX.3은 저장된 가중치를 유지하면서 층별 계산은 32비트 부동소수점으로 처리하는 경로도 쓴다.

이 계산 경로에서 중간 계산값을 담는 활성화 메모리 예산은 측정 표를 기준으로 두 배로 잡도록 조정했다. 릴리스는 이를 통해 T4에서 GGUF Q4의 노이즈 제거 모델, 이미지 잡음을 줄이는 모델을 카드에 유지하도록 했다고 설명한다. 가중치 저장 공간에 더해 중간 계산값이 차지하는 공간까지 반영한 실행 계획의 변화다.

이번 릴리스의 핵심은 새 GGUF 공개와 함께, T4 같은 구형 카드에서 생성 속도와 이미지 모델 선택 폭을 넓힌 것이다.