ローカル言語モデルをCUDAで実行・検証する開発者に向けて、一部の計算で別の処理が読み取り中のメモリを早すぎるタイミングで上書きしかねない問題が修正された。開発者は処理順序の重なりを検出する検査ツールの警告がなくなったと報告しており、今回の変更の意義は速度向上よりも計算順序の安全性にある。
1. 問題が起きた箇所
2026年10月19日に公開されたllama.cpp b11724は、この修正を含むプレリリースだ。修正対象はCUDAのベクトル型flash attentionカーネル、つまりGPUでアテンション計算を行うコードである。
問題は、計算したスコアを共有メモリに保存した後、次の反復でも同じ領域を再利用する過程にあった。共有のメモ帳を誰かが読み終わる前に、別の人が新しい内容で上書きする状況に似ている。開発者はこれを読み取り後の書き込み競合と説明した。
2. 修正方法
パッチはループの末尾にwarp単位の同期を追加する。warpはスレッドの集まりで、laneはその中の個々の実行単位を指し、同じ集まりの読み取りが終わるまで次の上書きを待たせる。
ggml_cuda_syncwarp(); // Needed for KQ synchronization.上のコードはパッチに追加された1行そのままだ。開発者は、関連する読み取りと書き込みが同じスレッドの集まりの中で行われるため、この範囲の同期で十分だと説明した。ユーザー設定を変更する例ではなく、カーネル内部の変更である。
3. 確認結果と範囲
開発者は基準コミットe467e5bでRTX 3090を使って確認した。
GPUアーキテクチャはsm_86で、NVIDIAドライバのバージョンは610.43.03だった。
競合検査は以下の正確性検査と同じ演算を対象とし、詳細設定はhsk=256とnb=1だった。
この条件で、メモリアクセスの順序の競合を検査するracecheckの警告は、修正前の8,007,424件から修正後の0件に減った。
正確性検査では、選択した38項目が修正前後ともに合格した。修正後のFLASH_ATTN_EXT全体の正確性検査でも、3,993項目中3,993項目が合格した。全体検査の修正前の結果は示されていない。作成者は、この競合によって誤った出力が発生した事例は観測していないと付け加えた。
4. 期待される効果と残る点
得られるのは共有メモリを再利用する際の読み書きの順序の保証であり、その代わりにスレッド間の待機箇所が追加される。ただし、公開資料には性能の変化が示されていないため、この待機を実際の速度低下と解釈したり、警告の減少をスループット向上と捉えたりしてはならない。
適用するか判断する際は、使用中の実行経路が修正対象かをまず確認するのが妥当だ。公開された検証は前述のハードウェアと設定に限られ、他のハードウェアやCUDA以外の実行経路での検証結果は示されていない。
今回の修正は、出力の改善を約束するものではなく、CUDA共有メモリの再利用順序を正し、検査警告を解消した安定性パッチである。