言語モデル実行ツールのllama.cppが、複数のリクエストをまとめて処理する機能を強化した新バージョンを公開した。モデルを直接実行したりサービスに接続したりする開発者は、拡大したモデル・音声対応を活用し、既存の連携コードの変更点を確認できる。

2026年11月4日公開のv0.9.0は、統合キャッシュ処理と新たな量子化形式への対応を主な変更点としている。入力処理の最適化とサーバー機能の改善も含まれる。

1. 複数リクエストを処理するキャッシュ経路の改善

新しいflash_attn_ext_rows演算は、複数リクエストの処理時に、リクエストごとのキー・バリュー情報をまとめて格納する統合KVキャッシュを効率的に利用する。各クエリの断片が、自身に指定されたキャッシュ行の一覧を参照する仕組みだ。プロジェクトは、統合キャッシュを使わない経路でも、入力文脈を先に計算するプリフィルという初期入力処理段階の性能を回復したと説明している。

量子化には、数値を少ないビットで表す規格であるOCP FP8 E4M3形式と、その変換への対応が追加された。量子化はモデルの数値をより小さな形式で表現する手法で、今回は利用できる表現形式が増えた。公開ヘッダーにも新形式を指定する値が追加された。

Gemma 4 E2BとE4Bでは、演算の関係を効率化する計算グラフの最適化が行われた。プロジェクトのリリースノートは、両モデルのプリフィル性能が大幅に改善したとしている。複数リクエストを処理する共通経路だけでなく、特定モデルの入力処理も見直した形だ。

2. 新たなモデル構造四つに対応

新たに対応したモデルには、Clover-35B-A3B-PreviewとLimite 1Bが含まれる。前者は、それまでに生成した内容に基づいて続きを生成する自己回帰モードに対応する。

Metis-1.6とMistral Large 4も追加された。Metis-1.6にはPraxis 約2.9BとLogos 約10.2Bの二つの派生モデルがあり、Mamba-2とGQAアテンションを混合した構造だ。キャッシュと演算経路を改善すると同時に、このツールで実行できるモデル構造の範囲をさらに四つ広げた。

3. 音声生成と多言語文字起こしの拡大

音声生成ではChatterbox TTSへの対応が加わった。Pocket TTSには、音声のクローンを作らずに事前定義された声を使う機能が追加された。自分の声を複製する方式のほかに、用意された声を選ぶ利用経路ができた。

Nemotron 3.5 Transcribeは40言語のオフライン文字起こしに対応する。プロジェクトの説明によると、プロンプトの文脈を反映し、発話を話者に結び付ける機能も提供する。今回の版では、音声を作る機能と録音を文字にする機能がともに拡張された。

動画入力では、qwen3-vlのプロンプト形式への対応が改善された。Gemma 4の画像入力は、余白を追加せずにサイズを調整する方式に変わった。音声以外の入力処理にもモデルごとの補強が行われた。

4. サーバーで声を確認し、名前で選択

サーバーのGET /propsレスポンスには、モデルが提供する事前定義された声の一覧が含まれる。音声生成リクエストには声の名前を渡せる。サービス開発者は、一覧の確認と声の選択をサーバーAPIで連携できるようになった。

/v1/responsesは、変換されたチャット応答に追加パラメーターをマージするよう変更された。既存の応答経路を使う連携コードでは、この変更を確認する必要がある。

ウェブ画面は、ユーザーが上にスクロールするまで会話を下端に維持する。応答が返っていないツール呼び出しには、中断状態も表示する。会話の進行状況を確認する画面の動作を改善した変更だ。

5. 活用範囲の拡大とインターフェース移行の負担

多次元の数値配列をまとめてコピーする汎用バッチテンソルコピーAPIは、従来の_2d系を置き換える方向で追加され、MetalとCUDAに実装された。複数テンソルのコピーをまとめて扱うインターフェースができたため、従来の系統を直接呼び出すコードには、移行時に修正の負担が生じる可能性がある。新機能を活用する利点と、連携コードを管理するコストが同時に生じる部分だ。

基盤ライブラリのggmlはv0.29.0に更新された。複数ノードにモデル計算を分担させるテンソル並列処理の初期対応と、実際の演算を担うソフトウェアである計算バックエンドごとの最適化が含まれる。サービス開発者にとっては、新モデルだけでなく、実際に使う計算経路も更新の検討対象となる。

リリースノートには、性能改善の測定値やハードウェア・設定は示されていない。次のバージョン番号への言及もない。ノート本文に「1.0.0」という文字列は現れず、そのバージョンに向けたマイルストーンや準備段階についても書かれていない。バージョンに関する手がかりは「More info」にある ggml のディスカッション「Releases and versioning of ggml-org projects」へのリンクだけで、その議論の内容はリリースノートからは確認できない。

v0.9.0は同時推論の経路とモデル・音声の活用範囲をともに広げており、既存サービスではインターフェース移行の確認が重要となる更新だ。