llama.cpp b12180：Kimi-K3.1-Pro対応、DSAインデクサーキャッシュ

1. 既存構造に入力選択機能を加えた

b12180リリースは、演算間の接続順序を表すK3の実行グラフと変換器を再利用し、Kimi-K3.1-Proの構造に対応する。入力間の関連度を計算するアテンション層を、すべての入力を参照する方式から、インデクサーが参照するキーを先に選ぶDSAという一部のキーだけを選択する方式に変更する。インデクサーは、どの入力に注目するかを絞り込む検索担当に相当する。

今回のテキストチェックポイント、つまりモデルの学習状態を保存したファイルでは、全層のうち一部だけにインデクサーが入り、既存のほかのアテンション層は維持される。リリースが示した構成は次のとおりだ。

表：Kimi-K3.1-Proテキストチェックポイントのインデクサー構成

条件：Kimi-K3.1-Proテキストチェックポイント

この構成は、モデル全体を新方式に置き換えるのではなく、既存の層とインデクサーを持つ層を併用することを示している。表の値は同じチェックポイントの構造設定であり、後述の検証結果とは用途が異なる。

2. 計算経路を再利用する代わりにキャッシュを追加する

実装では、選択したキーだけを集める代わりに、参照対象を制限するマスク、つまり計算対象から除外する項目を示す印をキャッシュ全体に適用する。これにより、選択部分を中心に少数の項目を高速計算する既存の疎なフラッシュアテンション経路を再利用する。メモリにはDSA層のキー専用キャッシュとインデクサーのキーキャッシュを置き、既存の層が前の計算から引き継ぐ状態も維持する。

開発者が得られるのは、インデクサーの選択を既存の疎な計算経路につなげられる点だ。その代わり、層ごとのインデクサーテンソルとキーキャッシュを追加管理する必要がある。疎な経路以外では、マスクを適用してもキャッシュ全体のキーとクエリ、つまりモデルが入力に対して出す検索ベクトルを照合する計算コストが残る。

したがって、この変更の導入時には、モデルへの対応に加え、実際の実行が疎な経路を活用するかを確認することが重要だ。選択対象を減らす構造と、実行時に行う計算の範囲を併せて見てこそ、リソース配分を判断できる。

3. 変換と量子化でも選択精度に配慮した

変換器はチェックポイント内のインデクサー構成を読み取り、内部設定に移す。インデクサーを配置する層の一覧が既存の完全アテンション層と正確に一致するかも確認するため、モデル構造を移す過程には対応関係を検査する手順が含まれる。

選択計算に使う3種類のインデクサーテンソルは、数の表現精度を下げる量子化の設定を上書きする対象から除外した。リリースは、上位キーの選択がこれらのテンソルの精度に敏感な点を理由として挙げた。これは選択精度を考慮した処理であり、一般的な量子化設定をインデクサーにも一括適用する方式とは異なる。

一方、計算を分担するエキスパート重み、つまり特定の計算担当モジュールに属する学習値は、既存のK3と同様に量子化形式のMXFP4を維持して再パックする。圧縮された数表現を元の精度に戻す逆量子化は行わない。モデル内部でもインデクサーとエキスパート重みで処理方式を変えている。

4. 検証は変換の一致と選択動作に重点を置いた

リリースノートによると、Hugging Faceのチェックポイントから切り出した8層を比較した結果、38個のテンソルが完全に一致した。設定を説明する付加情報であるインデクサーメタデータも設定と一致するか確認した。モデル構成の設計方式であるアーキテクチャのテストケースと、アーキテクチャの全テストスイートにも合格した。

選択結果は、入力のすべての位置を参照する完全アテンションを基準に比較した。選択数がコンテキスト長より大きい場合は、言語予測の誤差を表すパープレキシティ（PPL）が同じだったが、選択数をコンテキスト長より小さく強制すると結果が変化した。この検証は、変換された重みだけでなく、選択範囲を変えた際の動作も確認したことを意味する。

変換器は、画像特徴を処理するモデル構成部であるビジョンタワーと視覚情報の接続構成要素をスキップするため、今回の対応はテキストに限られる。リリースでは、処理速度やメモリ使用量の測定値、具体的なPPL数値は示されていない。

b12180の要点は、新モデルの入力選択構造を既存の実行基盤につないだことであり、導入の判断にはモデルの互換性と疎な計算経路、キャッシュのコストを併せて確認する必要がある。