llama.cpp b11709：Kolibri-1対応、GGUF変換経路の追加

1. 新たに対応する範囲

2026年10月17日に公開されたllama.cpp b11709はプレリリースである。リリースノートには、新モデルの重み変換と推論の実装、アーキテクチャテストへの登録が記載された。モデル名を一覧に加えただけでなく、実行に必要な処理を追加した変更である。

対応対象はAleph AlphaのKolibri-1である。モデルカードに記載されたモデル公開日は2026年10月3日で、今回の推論ツールの対応日とは異なる。カードのApache 2.0ライセンスは、リポジトリで公開された重みと設定ファイルに適用される。

2. 少ない計算量と大きなメモリのトレードオフ

モデルは、計算を分担する複数のエキスパートから一部を選ぶ混合エキスパート構造である。全パラメータは約780億個だが、トークンというテキスト処理単位ごとに活性化するパラメータは約34.6億個である。カードによると、各層でエキスパート6個を選択し、共有エキスパート1個も設けている。

利点は、毎回すべてのパラメータを計算しない点である。一方、モデルカードは、一部しか活性化しなくてもモデル全体をメモリに保持する必要があると説明する。公開された8ビット浮動小数点の重みのメモリ規模は約78 GBである。活性パラメータ数だけを見て、小型モデル並みのメモリで運用できると判断してはいけない理由である。

3. 変換の実装で変わった点

内部実装は、近くのテキストを見る四つの層と、文脈全体を見る一つの層を交互に配置し、近くの範囲は直前の512トークンと現在のトークンである。変換器は既存の混合エキスパートモデル用クラスを再利用し、共有エキスパートの規模や層ごとの参照範囲パターンなどを、GGUFというモデルファイル形式に記録する。

以下は変更提案に掲載された変換コードである。実行コマンドではなく、モデル構造の情報をファイルに書き込む部分である。

    def set_gguf_parameters(self):
        super().set_gguf_parameters()
        self.gguf_writer.add_expert_shared_feed_forward_length(self.hparams["shared_expert_intermediate_size"])
        self.gguf_writer.add_sliding_window_pattern([t == "sliding_attention" for t in self.hparams["layer_types"]])
        self.gguf_writer.add_expert_gating_func(gguf.ExpertGatingFuncType.SIGMOID)

4. 変換後のサイズと測定速度の意味

変更提案の提出者は、元のモデルを変換するとBF16 GGUFファイルが156 GiB、数値をより少ないビットで表す量子化を適用したQ4_K_Mファイルが45 GiBになると述べた。これは変換後のファイルサイズであり、実行中に必要な総メモリと同じ値とはみなせない。

性能試験は、A800を四枚搭載したサーバーでQ4_K_Mモデルを使って行われた。提出者の報告では、入力2048トークンの処理で毎秒2558.18トークン、512トークンの生成で毎秒106.01トークンを記録した。入力処理と応答生成は異なる作業なので、二つの数値を同じ速度として読んではならない。

他の機器と比較した速度や、量子化前後の精度変化は資料に示されていない。したがって、この結果は当該サーバーでの実行事例として読むべきであり、個人用機器での体感速度や品質を保証する根拠にはならない。

5. 利用前に確認すべき境界

モデルカードは、文脈、つまり一度に扱うテキストの範囲を最大1,048,576トークンまで検証したと説明する。ただし、基本の学習文脈は262,144トークンで、遅延・スループットに敏感な運用や複雑な作業では、この長さ以下を推奨している。長い文脈の検証はモデル開発側の説明であり、今回の実装を同じ条件で試験した結果ではない。

カードのインストール・実行案内はvLLM向けである。推論モードやツール呼び出しを有効にする手順も同ツールが基準であり、llama.cpp向けの具体的な変換・実行コマンドや、両機能の同等の対応状況は資料に示されていない。導入者は、モデル自体の機能と実行ツールで確認された対応範囲を分けて検証する必要がある。

今回の対応の価値は新モデルを実行する選択肢が増えた点にあり、導入判断は活性パラメータ数よりもメモリ予算と実際の業務での検証を中心に行うべきである。