NVIDIAが、長い文書や大規模なコードベースを扱うモデル開発者向けに、疎なアテンションの設計指針を公開した。必要なキーだけを選んで計算する方式からさらに踏み込み、キーの選択と実際の読み取り・計算を併せて最適化し、長いコンテキストの処理負荷を抑える方法だ。学習過程に疎性を取り入れるモデル設計を対象としている。

1. 計算を減らすとキー選択が新たなボトルネックになる

通常のアテンションはクエリごとに全キーを比較するが、疎なアテンションは関連性の高い数千個のキーだけを使う。本全体を読む代わりに、必要なページだけを開くようなものだ。ただし、必要なページを探す役割のインデクサーは、依然として全キーにスコアを付ける。

同社の発表によると、DeepSeek V3.2で入力128Kトークンを処理する際、インデクサーと上位キーの選択が1層の実行時間の47%を占めた。実際のアテンション計算よりもキーを探す時間が長く、最適化の焦点も選択段階へ移る。

NVIDIA GPU、DeepSeek V3.2のDSA、入力長128Kトークン、層ごとの入力処理時間を基準

DeepSeek V3.2の層ごとの主要段階の時間割合 (%)インデクサーと上位キー選択: 時間割合 47; 中核アテンション: 時間割合 24; 順伝播ニューラルネットワークの演算: 時間割合 25インデクサーと上位キー選択47中核アテンション24順伝播ニューラルネットワークの演算25
DeepSeek V3.2の層ごとの主要段階の時間割合 (%)
疎なアテンションモデルの主要段階別の時間割合 (%)
項目時間割合
インデクサーと上位キー選択47
中核アテンション24
順伝播ニューラルネットワークの演算25

表は、同じモデルと入力長における主要段階の時間割合を示す。同社の発表では、インデクサーと上位キー選択の割合は、中核アテンションの24%を上回った。

2. 入力処理とトークン生成ではボトルネックが異なる

インデクサーは、行と列を掛け合わせて合算する行列積でクエリとキーを比較し、後処理でキーごとに1つのスコアを作る。入力を一括処理する段階では、大きな行列積の計算量が重要になる。一方、次のトークンを生成する段階では、クエリが少なくても、計算済みのキーを保存するキーキャッシュ全体を読む必要があり、メモリの読み取りが主なボトルネックになる。

以下のインデクサー測定の基本条件は、同社の発表によると、GPUで計算を実行するプログラムである8ビット浮動小数点(FP8)カーネル、インデクサーのキー数64K、元の量からの縮小度を示す圧縮比4、各ヘッドが扱うベクトルの大きさを示すヘッド次元128だ。キーヘッドは1つで、入力処理のバッチサイズは1、トークン生成のバッチサイズは128。圧縮比の実験ではシーケンス長を256Kに固定した。

1つのキーヘッドを共有するクエリヘッド数をグループサイズと呼ぶ。同社の発表によると、グループサイズが16倍になっても、トークン生成段階の実行時間の変化は2%だった。同じキーキャッシュを1度読み、複数のクエリヘッドで利用するためだ。

利点とコストは段階ごとに異なる。グループを大きくすると、メモリから読んだキーをより多く活用できるが、入力処理段階では計算量と実行時間が増える。モデル開発者はトークン生成の効率だけでなく、長い入力を最初に処理するコストも併せて検討する必要がある。

3. ドラフトの検証は一括処理できるサイズに合わせる

複数のドラフトトークンをまとめて検証する投機的デコーディングも、同じキーキャッシュを再利用する。ここでは、グループサイズと検証するクエリ数が、GPUがひとまとまりで計算するデータ単位であるタイルの領域を分け合う。NVIDIAは、32ビット浮動小数点(FP32)の後処理では、実用上、約200のクエリ行を1つのタイルに収められると説明した。

同社の発表によると、グループサイズ32でクエリ6個を処理したとき、作業量は6倍、実行時間は1.37倍だった。グループサイズ8では、クエリ26個で作業量が26倍になると、実行時間は1.87倍だった。各数値は、そのグループサイズでクエリ1個を処理する場合との比較だ。タイルに収まる範囲を超えるとキャッシュを追加で読むことになり、実行時間が跳ね上がる。

NVIDIAは、インデクサーのヘッド次元に128または256を推奨した。同社の発表によると、64から128へ広げた際の入力処理時間の増加は1.1~1.2倍だったが、トークン生成ではキーのデータ増加に応じて読み取りコストが増えた。キーヘッドを1つから8個に増やした場合、入力処理時間は1.3~1.6倍、トークン生成時間は7.6倍になった。

4. スコア付けの対象と中間データの移動を併せて減らす

キーを圧縮して複数のトークンを代表させたり、階層的に候補を絞ったり、層の間で選択結果を共有したりすれば、スコア付けの作業を減らせる。NVIDIAの圧縮比実験では、圧縮比を半分に下げると入力処理時間が2倍になった。トークン生成もおおむね2倍で、キーキャッシュが8Kの条件では1.8倍だった。

スコアの高いキーを残すTop-kをインデクサーカーネルに統合すれば、全スコアをメモリに書いてから読み直す過程をなくせる。TensorRT LLMは、次のトークンを生成する際に、直前の段階の選択結果を推定値として再利用する方式も提供する。

同社の発表によると、この再利用方式はDeepSeek V3.2とDeepSeek V4のトークン生成段階で、スコアを桁ごとに絞り込む従来の選択方式より2.1~2.4倍高速だった。

開発者はFlashInferの公開実装で、インデクサーと選択処理を1つのカーネルに統合する手法を参考にできる。

5. 連続ブロックを選ぶと読み取ったデータを共有しやすい

トークンごとにキーを選ぶと、選択されたデータがキャッシュ内に散らばる。連続したデータをまとめた単位である連続ブロックを選べば、まとめて読み取り、同じブロックを選んだクエリ間でデータを共有できる。NVIDIAが大きなブロックを優先的に検討するよう勧める理由だ。

同社の発表によると、クエリ当たりの選択キー数を2,048個に固定した実験では、ブロックサイズを半分にすると入力処理とトークン生成の時間がほぼ2倍になった。計算量とキー・値データの総量が同じでも、ブロック数が増えると、クエリデータの読み込みと部分結果を統合する作業が増える。

長いコンテキストの推論で最適化すべき単位は、個々のアテンションカーネルではなく、キーの選択からデータの読み取りまでをつなぐ経路全体だ。