ローカル言語モデルを使う開発者は、Web画面でモデルを検索し、必要なファイルをダウンロードできるようになった。推論を助ける補助ファイルを一緒に選び、ダウンロードを止めて再開する機能も加わり、モデル探索とファイル管理を1か所で行える。

1. 検索からダウンロードまでをつなぐ

2026年10月17日に公開されたllama.cpp b11714には、モデル管理ウィンドウに探索画面が追加された。Hugging Face Hubのモデルをおすすめ一覧や検索で探し、ファイルサイズの範囲で絞り込める。

対象はモデルの重みを格納するGGUF形式だ。リポジトリを選ぶと、説明文書や統計、量子化別のダウンロードボタンが表示される。量子化は重みをより少ないビットで表現する手法で、ファイルを選ぶ際にはメモリに収まるかどうかの案内も確認できる。

探索機能は既定で無効になっており、設定で有効にするとサイドバーなどからアクセスできる。ヘルプによると、複数のモデルを管理するルーターモードでのみ利用できる。有効にするとHugging Face Hub連携も有効になって固定され、探索を無効にすると連携も無効になる。情報の表示だけが必要なら、連携設定を個別に有効にできる。

2. 補助ファイルは同じ量子化を優先する

ドラフト生成用の補助ファイルは、メインモデルの推論を助ける別ファイルだ。ダウンロード画面には、一緒に取得するためのチェックボックスと種類を選ぶ機能がある。提供される種類のうちDFlashをMTPより優先し、ユーザーは選択を変えたり、同時取得を解除したりできる。

組み合わせを選ぶ際は、メインモデルと同じディレクトリで完全に同じ量子化をまず探し、なければビット数が最も近いファイルを選ぶ。原文の例のように、4ビットモデルに16ビットの補助ファイルが組み合わされることもある。したがって、量子化に合わせるという説明は、同じビット数だけを許容するという意味ではない。

補助ファイルは独立したモデル行ではなく、メインモデル内の短い下位行として表示される。メインモデルのダウンロード操作でまとめて管理し、メインモデルだけを取得済みの場合は、不足する補助ファイルを追加するボタンが表示される。推論速度がどの程度改善するかの測定結果は示されていない。

3. 一時停止では保持し、キャンセルでは削除する

以前は停止したダウンロードの部分ファイルを削除していたが、今回は残しておき、再要求時に続きから取得する。サーバーが未完了の記録を保存するため、再起動や画面の再読み込み後も一時停止状態を復元する。再開要求が失敗しても、画面の一時停止中の行は残る。

サーバーのドキュメントが示した未完了状態の例は次のとおりだ。実行中のダウンロードとは異なり、ファイルの取得は完了していないが、現在はダウンロードしていない状態を区別する。

"status": {
  "value": "incomplete",
  "args": []
}

一時停止は取得済みの部分を保持するが、キャンセルやディスクからの削除は部分ファイルを除去する。メインモデルが既にあり、補助ファイルだけを取得中に停止した場合も、未完了の種類を別途記録し、新しい画面で再開できるようにした。

4. 利便性の代償は保存領域と共有ファイルの管理だ

モデルと補助ファイルを別々に探す手間が減る一方、同時に取得するファイルの分だけ転送量と保存領域が増える。一時停止後も部分ファイルはディスクに残る。探索の利便性だけでなく、不要なダウンロードをキャンセルして領域を回収する管理も重要になる。

続きからの取得は、ファイルが変わっていない場合に有効だ。保存されたファイルのバージョン識別情報がないか変わっている場合は、最初から取得し直す。また、サーバーが再開用の範囲要求に正常な応答ではなく200または416を返すと、部分ファイルを削除し、次の試行を最初から始める。

共有ファイルにも注意が必要だ。サーバーは、進行中のダウンロードと同じ部分ファイルに書き込もうとする新しい要求を拒否する。モデル削除時には他の量子化が使用するファイルを保持するが、共有補助ファイルを単独で削除すると、それを共用する量子化にも影響する。

確率値を返す判定モデルはこのWeb画面で実行できないため、おすすめと検索から除外する。今回の探索機能の範囲は、Hub上の全モデルの実行対応ではなく、対応モデルの選択とダウンロード管理だ。

今回の変更の要点は、モデル探索とダウンロードの再開を1つの画面にまとめつつ、補助ファイルの選択と残ったファイルの管理はユーザーに委ねたことにある。