언어 모델 실행 도구 llama.cpp가 여러 요청을 함께 처리하는 기능을 보강한 새 버전을 공개했다. 모델을 직접 실행하거나 서비스에 연결하는 개발자는 더 넓어진 모델·음성 지원을 활용하고, 기존 연동 코드의 변경 지점을 살펴볼 수 있다.

2026년 11월 4일 공개된 v0.9.0은 통합 캐시 처리와 새 양자화 형식 지원을 주요 변화로 내세웠다. 입력 처리 최적화와 서버 기능 개선도 함께 담겼다.

1. 여러 요청을 처리하는 캐시 경로 개선

새 flash_attn_ext_rows 연산은 여러 요청을 함께 처리할 때 통합 KV 캐시, 요청별 키·값 정보를 모아 저장하는 공간을 효율적으로 쓰도록 한다. 각 질의 조각이 자신에게 지정된 캐시 행 목록을 참조하는 방식이다. 프로젝트는 통합 캐시를 쓰지 않는 경로에서도 입력을 처음 처리하는 프리필, 입력 문맥을 먼저 계산하는 단계의 성능을 되찾았다고 설명했다.

양자화에는 OCP FP8 E4M3 형식, 수를 적은 비트로 나타내는 규격과 변환 지원이 추가됐다. 양자화는 모델의 수치를 더 작은 형식으로 표현하는 방식으로, 이번에는 사용할 수 있는 표현 형식이 늘어난 것이다. 공개 헤더에도 새 형식을 지정하는 값이 들어갔다.

Gemma 4 E2B와 E4B는 계산 그래프 최적화, 연산 관계를 효율화하는 작업의 대상이다. 프로젝트 릴리스 노트는 두 모델의 프리필 성능이 크게 개선됐다고 밝혔다. 여러 요청을 처리하는 공통 경로뿐 아니라 특정 모델의 입력 처리도 함께 손본 셈이다.

2. 새 모델 구조 네 가지 지원

새로 지원하는 모델에는 Clover-35B-A3B-Preview와 Limite 1B가 포함됐다. 전자는 앞서 생성한 내용을 바탕으로 다음 내용을 이어가는 자기회귀 모드로 지원한다.

Metis-1.6과 Mistral Large 4도 추가됐다. Metis-1.6은 Praxis 약 2.9B와 Logos 약 10.2B 두 변형으로, Mamba-2와 GQA 어텐션을 혼합한 구조다. 캐시와 연산 경로를 개선하는 동시에, 이 도구로 실행할 수 있는 모델 구조의 범위를 네 가지 더 넓혔다.

3. 음성 생성과 다국어 전사 확대

음성 생성에는 Chatterbox TTS 지원이 들어갔다. Pocket TTS에는 음성 복제 없이 미리 정해진 목소리를 사용하는 기능이 추가됐다. 자신의 목소리를 복제하는 방식 외에 준비된 목소리를 선택하는 사용 경로가 생긴 것이다.

Nemotron 3.5 Transcribe는 40개 언어의 오프라인 전사를 지원한다. 프로젝트 설명에 따르면 프롬프트 문맥을 반영하고, 발화가 누구의 것인지 연결하는 기능도 제공한다. 음성을 만드는 기능과 녹음을 글로 옮기는 기능이 이번 판에서 함께 확장됐다.

영상 입력에서는 qwen3-vl의 프롬프트 형식 지원이 개선됐다. Gemma 4의 이미지 입력은 여백을 덧대지 않고 크기를 조정하도록 바뀌었다. 음성 외의 입력 처리에도 모델별 보완이 이뤄졌다.

4. 서버에서 목소리를 확인하고 이름으로 선택

서버의 GET /props 응답에는 모델이 제공하는 미리 정해진 목소리 목록이 담긴다. 음성 생성 요청에는 목소리 이름을 전달할 수 있다. 서비스를 만드는 개발자는 목록 확인과 목소리 선택을 서버 API로 연결할 수 있게 됐다.

/v1/responses는 변환된 채팅 응답에 추가 매개변수를 합치도록 바뀌었다. 기존 응답 경로를 사용하는 연동 코드에서는 이 변경을 확인할 필요가 있다.

웹 화면은 사용자가 위로 스크롤하기 전까지 대화를 아래쪽에 유지한다. 응답이 돌아오지 않은 도구 호출에는 중단 상태도 표시한다. 대화 진행 상황을 확인하는 화면 동작을 다듬은 변화다.

5. 활용 범위 확대와 인터페이스 전환 부담

범용 배치 텐서 복사 API, 다차원 수치 배열을 묶어 복사하는 기능은 기존 _2d 계열을 대체하는 방향으로 추가됐으며, Metal과 CUDA에 구현됐다. 여러 텐서의 복사를 묶어 다루는 인터페이스가 생긴 만큼, 기존 계열을 직접 호출하는 코드는 전환 시 수정 부담이 생길 수 있다. 새 기능을 활용하는 이익과 연동 코드를 관리하는 비용이 함께 생기는 지점이다.

기반 라이브러리 ggml은 v0.29.0으로 올라갔다. 여러 노드에 모델 계산을 나눠 맡기는 텐서 병렬 처리의 초기 지원과 계산 백엔드, 실제 연산을 맡는 소프트웨어별 최적화가 포함됐다. 서비스 개발자에게는 새 모델뿐 아니라 실제로 사용하는 계산 경로도 업데이트 검토 대상이 된다.

릴리스 노트는 성능 개선의 측정 수치와 하드웨어·설정을 제시하지 않았다. 다음 버전 번호에 대한 언급도 없다. 본문에는 ‘1.0.0’ 문자열이 한 번도 등장하지 않고, 그 버전을 위한 마일스톤이나 준비 단계에 대한 내용도 담겨 있지 않다. 버전과 관련해 확인되는 것은 ‘More info’에 놓인 ggml 저장소 논의 ‘Releases and versioning of ggml-org projects’ 링크뿐이며, 그 논의의 내용은 이 릴리스 노트만으로 확인할 수 없다.

v0.9.0은 동시 추론 경로와 모델·음성 활용 범위를 함께 넓혔으며, 기존 서비스에는 인터페이스 전환 점검이 중요한 업데이트다.