Ollama가 애플 실리콘에서 모델의 답변 생성과 긴 입력 처리를 빠르게 하고, 일부 작은 이미지의 세부를 더 보존하는 후보 버전을 공개했다. 모델을 직접 실행하는 개발자는 자신의 작업이 입력을 읽는 데 오래 걸리는지, 답변을 만드는 데 오래 걸리는지에 따라 개선 효과를 살펴볼 수 있다.
1. 초안을 먼저 만들어 답변 생성 가속
10월 27일 공개된 0.40.12-rc0에는 DFlash2 지원이 들어갔다. 여러 토큰의 초안을 먼저 만든 뒤 모델이 검증해 답변 생성을 가속하는 방식이다.
이번 지원은 애플 실리콘의 모델 연산 기반인 MLX 실행 경로에 추가됐다. 매 라운드 7개 토큰의 초안을 만들고 기존의 상태 복원 경로로 검증한다.
변경 요청 작성자는 qwen3.8:27b 모델의 NVFP4, 4비트 부동소수점으로 수치 표현하는 형식으로 성능을 측정했다. 두 방식은 같은 빌드와 세션에서 실행했다.
비교 대상인 MTP는 모델에 내장된 예측 기능이다. 아래는 M5 Max에서 2K 입력 요청 16건의 중앙값으로, 작성자가 공개한 입력 처리량과 생성 처리량을 별도 열에 표시했다.
표: M5 Max에서 초안 생성 방식에 따른 처리량
조건: M5 Max, qwen3.8:27b (NVFP4), 2K 입력, 16건 요청 중앙값, temperature 1, top_p 0.95, top_k 20, thinking on, 동일 빌드·세션
단위: 초당 토큰
| 방식 | 입력 처리량 | 생성 처리량 |
|---|---|---|
| 내장 MTP | 767 | 57.0 |
| DFlash2 | 790 | 71.0 |
이 조건에서는 입력 처리량보다 생성 처리량의 변화가 두드러졌다. 같은 모델과 기기의 32K 입력 측정에서도 생성 처리량은 54.0에서 63.2로 높아졌다. 이 결과는 나머지 설정이 같고 요청 수가 12건인 측정의 중앙값이다.
2. 긴 입력을 읽는 단계도 개선
MLX와 그 연결 계층을 업데이트한 변경은 모델이 입력을 먼저 읽는 프리필 단계를 겨냥했다. 한 번에 살펴볼 입력 범위를 지정하는 연산 기능을 활용해 젬마 4, 플린트, 라구나 계열 모델의 처리량을 높였다.
변경 요청 작성자가 공개한 Apple M5 Max 측정에서 라구나 모델의 2048토큰 입력 처리량은 아래와 같이 바뀌었다. 개선율도 원문에 제시된 값이다.
표: 라구나 모델의 2048토큰 입력 처리량 변화
조건: Apple M5 Max, laguna-xs.2:nvfp4, 2048토큰 입력, MLX·MLX-C 업데이트 전후 프리필 처리량
| 항목 | 업데이트 이전 | 업데이트 이후 | 개선율(%) |
|---|---|---|---|
| 처리량(초당 토큰) | 4668 | 5795 | 24.1 |
같은 기기와 모델의 6144토큰 입력에서는 처리량이 초당 4289토큰에서 5448토큰으로 늘었고, 작성자가 제시한 개선율은 27.0%다. 입력을 읽는 시간이 큰 작업에서 참고할 결과이며, 해당 변경의 측정에서 답변을 생성하는 디코드 속도는 그대로였다.
3. 작은 이미지의 세부를 살리는 대신 토큰 사용 증가
젬마 4에서 이미지를 처리하는 소형 구성 요소인 컴팩트 비전 타워도 수정됐다. 이미지 크기를 자동 조정하면서 가장 작은 격자를 내림하면, 의도한 70토큰 예산보다 적게 배정돼 작은 이미지의 세부가 손실될 수 있었기 때문이다.
이번 변경은 해당 격자를 올림하되 다음 지원 예산을 넘지 않게 한다. 이미지를 모델이 읽을 작은 칸으로 나눌 때, 칸 수를 조금 늘려 세부가 사라지는 문제를 줄이는 방식이다.
세부 보존의 이익은 이미지 입력에 쓰는 토큰이 늘어날 수 있다는 비용과 맞물린다. 예산을 명시한 입력과 더 큰 비전 타워 및 통합 타워는 기존 크기 조정 방식을 유지한다.
4. 테스트 모델로 생성 경로 확인
DFlash2 변경 요청 작성자는 자신의 이름으로 시험용 모델을 공개했다. 원문에 제시한 내려받기 명령은 다음과 같다.
ollama pull dhiltgen/qwen3.8:27b-dflash2-nvfp4이번 Ollama 후보 버전은 답변 생성, 긴 입력 읽기, 작은 이미지의 세부 보존을 각각 손봐 작업의 병목에 맞춰 평가할 이유를 만든다.