供开发者在本地运行语言模型的llama.cpp在新版本中整理了令牌筛选计算的内部路径。它简化了流程,直接调用已在使用的融合运算,即将多个计算合并为一次的运算,并移除了自动判定是否使用它、或将计算拆分为多个运算的替代分支。
1. 重点在于整理现有路径,而非引入新计算方式
2026年11月21日发布的b12606是纳入变更请求#32650的预发布版,即正式发布前的测试版本。发布说明指出,由于令牌筛选现在始终使用融合运算,因此移除了相关内部设置、自动探测,以及非融合的替代计算路径。
在变更前的代码中,融合运算就已启用,自动判定则已关闭。此次发布并非首次启用新方式,而更侧重于根据已在使用的执行路径,清除残留的分支和判定代码。
因此,用户无需为应用此次变更新增启用融合运算的设置。对于直接修改源码的开发者,围绕已移除的内部设置和分支查看变更会更有帮助。
2. 移除分散在多个模型中的替代计算
lightning indexer是为模型将要参考的候选令牌计算分数的部分。此次保留了将多个计算合并处理的融合运算调用,取代了将多个独立运算串接起来的替代方式。
DeepSeek 3.2和DeepSeek 4等多个模型实现中的非融合分支已被移除。公共代码中自动探测设备是否支持该运算的流程也被删除。
记录融合运算使用情况的内部项也一并清理。qwen4exp.cpp保留了原有的融合运算调用,仅删除使用记录。修改的文件既包含移除计算分支的代码,也包含清理现有调用周边管理信息的代码。
修改涉及的14个文件均为src/下的内部源文件,总计新增23行、删除269行。此次不仅清理了公共判定代码,还清理了各模型的替代计算,因此删除量大于新增量。
该变更请求已合并到默认分支,作者表示曾在本地构建llama目标。这被列为应用此次代码清理后所做的验证工作。
3. 统一用于屏蔽候选项的掩码格式
用于标记计算中需排除的候选项的掩码,按照融合运算的要求,以16位浮点格式F16创建。下面是从已合并代码中摘录的创建函数开头,最后一个参数用于指定该格式。
此前需要复制其他注意力设置,即计算输入间关系的方式的设置,再临时修改以绕过限制;现在则直接向函数传入所需格式。此次不仅整理了执行路径,也整理了生成该路径输入的方式。
static ggml_tensor * build_attn_inp_kq_mask(
ggml_context * ctx,
const llama_kv_cache_context * mctx,
const llama_ubatch & ubatch,
const llama_cparams & cparams,
bool force_f16 = false) {
const auto n_kv = mctx->get_n_kv();
const auto n_tokens = ubatch.n_tokens;
const auto n_stream = cparams.kv_unified ? 1 : ubatch.n_seqs_unq;4. 待维护代码减少,内部选项也随之收窄
开发者不再需要为同一种筛选计算维护两套方式。代价是,此次移除分支的模型也失去了通过更改内部设置回退到非融合计算的选项。收益与成本都源于执行路径的简化。
DeepSeek 4.1仍保留一个例外:关闭稀疏注意力,即仅选取部分令牌计算关系的路径后,会进入非融合计算。变更请求说明,由于可通过LLAMA_DSV41_SPARSE=0关闭该路径,因此保留了相应的替代计算。
原文没有提供此次变更前后的速度或内存占用对比测量结果。删除代码的数量更适合被视为维护范围缩小的依据。
b12606的核心在于围绕已在使用的融合运算整理代码,同时减少维护各模型替代计算的负担与选项。
