ローカルで言語モデルを実行する開発者が使うllama.cppの新バージョンが、トークン選別計算の内部経路を整理した。複数の計算を一つにまとめる、従来の融合演算をそのまま呼び出す形に簡素化し、使用の可否を自動判定する分岐や、計算を複数の演算に分けて処理する代替分岐を削除した。

1. 新しい計算方式の導入より既存経路の整理に重点

2026年11月21日に公開されたb12606は、変更リクエスト#32650を反映したプレリリース、正式公開前の試験配布版だ。リリースノートは、トークン選別に融合演算を常に使うため、関連する内部設定と自動探索、非融合の代替経路、標準方式の代わりに使う計算手順を削除すると説明した。

変更前のコードでも融合演算の使用は有効で、自動判定は無効になっていた。今回のリリースは新方式を初めて有効にするというより、すでに使っていた実行経路に合わせ、残っていた分岐や判定コードを取り除く性格が強い。

したがって、この変更を適用するために、利用者が融合演算を有効にする別の設定を追加する必要はない。ソースを直接修正する開発者は、削除された内部設定や分岐を中心に変更内容を確認すると有用だ。

2. 複数のモデルに散在する代替計算を削除

lightning indexerは、モデルが参照するトークン候補のスコアを計算する部分だ。複数の計算を個別の演算としてつなぐ代替方式ではなく、それらをまとめて処理する融合演算の呼び出しを残した。

DeepSeek 3.2やDeepSeek 4など、複数のモデル実装から非融合の分岐がなくなった。共通コードでは、デバイスがこの演算に対応するかを自動探索する手順も削除した。

融合演算の使用を記録する内部項目も併せて整理した。qwen4exp.cppでは従来の融合演算の呼び出しを維持し、使用記録だけを削除した。修正ファイルには、計算分岐を取り除いたコードと、既存の呼び出し周辺の管理情報を整理したコードが含まれる。

修正対象はすべてsrc/配下の内部ソースファイル14個で、変更量は全体で23行の追加、269行の削除だ。共通の判定コードだけでなくモデル別の代替計算も整理し、追加量より削除量が多い変更となった。

変更リクエストはデフォルトブランチにマージされ、作成者はllamaターゲットをローカルでビルドしたと述べた。これは今回のコード整理を適用した後に行った確認作業として示された。

3. 計算候補を除外するマスクの形式も統一

計算から除外する候補を示すマスクは、融合演算の要件に合わせて16ビット浮動小数点形式のF16で作成する。以下はマージ済みのコードから抜粋した生成関数の冒頭で、最後の引数がこの形式を指定する役割を担う。

以前は、入力間の関係を計算する方式であるアテンションの別の設定をコピーし、一時的に変更する回避策が必要だったが、今は必要な形式を関数に直接渡す。実行経路だけでなく、その経路に渡す入力の作成方法も併せて整理した。

static ggml_tensor * build_attn_inp_kq_mask(
        ggml_context * ctx,
        const llama_kv_cache_context * mctx,
        const llama_ubatch & ubatch,
        const llama_cparams & cparams,
        bool force_f16 = false) {
    const auto n_kv     = mctx->get_n_kv();
    const auto n_tokens = ubatch.n_tokens;
    const auto n_stream = cparams.kv_unified ? 1 : ubatch.n_seqs_unq;

4. 保守するコードが減り内部の選択肢も縮小

開発者は、同じ選別計算を二つの方式で保守する負担を軽減できる。その代わり、今回分岐を削除したモデルでは、内部設定を変えて非融合計算に戻す選択肢もなくなる。利点と代償の両方が、実行経路の簡素化から生じる変更だ。

DeepSeek 4.1には、一部のトークンだけを選んで関係を計算するスパースアテンションの経路を無効にすると、非融合計算に到達する例外が残る。変更リクエストは、LLAMA_DSV41_SPARSE=0でこの経路を無効にできるため、該当する代替計算を維持すると説明した。

原文には、今回の変更前後の速度やメモリ使用量を比較した測定結果はない。削除したコードの量は、保守範囲が縮小した根拠として読むのが適切だ。

b12606の要点は、従来の融合演算に合わせてコードを整理し、モデル別の代替計算を維持する負担と選択肢を同時に減らしたことにある。