llama.cpp 新的预发布版,即正式发布前提供的试用版本,修复了通过 WebGPU 运行模型时错读注意力掩码,以及低估共享内存用量的问题。注意力掩码用于屏蔽计算中参考的条目,共享内存则是多个任务共用的存储空间。对于采用这种运行方式的开发者,此次更新同时纠正了计算结果错误和内存超限的成因。
1. 读取与各头对应的掩码切片
Inkling 2 为每个头分别设置一个掩码切片,头是拆分注意力计算的单位。此前在 GPU 上运行的着色器没有在掩码读取位置中计入头编号,导致使用各头掩码的运算产生错误结果。加入这一用例的运算测试也在 WebGPU 上失败。
PR #32394 修改了掩码位置计算,将头编号纳入其中。当掩码切片重复应用于多个头时,使用头编号除以切片数量的余数。这与 CPU 和其他后端采用的广播规则相同,即重复较小数组的值以匹配形状。
向量路径也会分别处理各掩码头的中间状态。这一改动使各头掩码运算得以执行,而不再因不受支持而被拒绝。相关着色器代码的调度布局和掩码头索引如下。
// Dispatch mapping:
// - x indexes KV blocks
// - y flattens (batch_idx, mask_head, q_blk) as y = (batch_idx * mask_ne2 + mask_head) * nblk1 + q_blk
let kv_blk = wg_id.x;
let y = wg_id.y;
let q_blk = y % params.nblk1;
let mask_head = (y / params.nblk1) % params.mask_ne2;
let batch_idx = y / (params.nblk1 * params.mask_ne2);2. 让键和值的内存计算符合实际用量
WebGPU 的 Flash Attention 实现会将键和值放入 GPU 工作组共用的高速内存,或直接读取。修改前的估算只要键或值有一个采用直接读取,就会扣除两者的共享内存,但着色器只有在键和值都直接读取时才会排除这部分空间。
这一差异使键为 f16、值为 q8_0 的组合低估了实际用量,从而超出工作组存储空间上限。修改后,只有键和值都直接读取时,才从估算中扣除对应空间。这样即使混用不同存储格式,计算中也会保留实际所需的共享空间。
3. 在支持判定中考虑可执行的路径
运算的内存分配大小计算和支持判定也改为采用与实际执行路径相同的内存规则。当矩阵运算路径无法满足存储空间限制时,切换至其他计算路径的行为也被纳入支持判定。这减少了仅因某条路径内存不足就将运算判为不受支持的情况。
正确处理各头掩码的代价是辅助内存增加。WebGPU 参数缓冲区因新增存放掩码信息的字段,从 128 字节增至 256 字节。向量路径的掩码中间状态空间也会按掩码头数量分配。此次改动的收益在于结果和支持判定的准确性,成本则是存储额外信息所需的空间。
4. 作者报告 WebGPU 运算测试 3996 项全部通过
PR 作者表示,在 CI(自动构建和测试环境)中使用 Dawn 的 NVIDIA WebGPU 环境下,运行 test-backend-ops -o FLASH_ATTN_EXT 后,3996 项测试全部通过。其中包含此前出现问题的 48 项各头掩码用例。这并非所有运算的测试结果,而是针对 Flash Attention 的 3996 项测试,其中含 48 项各头掩码测试,应与另行报告的 ctest -L main 通过结果区分。
作者还报告,设置 GGML_SCHED_NO_REALLOC 环境变量后的额外测试也已通过。Apple 运行器测试的是子组矩阵路径,即通过 GPU 内部的小规模工作组进行矩阵计算的路径。
该 PR 于 2026 年 11 月 16 日合并,b12441 预发布版也于同日公开。发布页面提供多个操作系统的二进制文件。对于使用 WebGPU 时因各头掩码或键值存储格式组合而遇到问题的开发者,此次构建是直接值得评估的对象。
此次构建的核心是纠正 WebGPU 的计算结果和内存支持判定,同时增加了处理各头掩码所需的辅助存储空间。
