Deletion Tuning：删除门控权重，缩小后训练适配器

1. 学习删除位置，而非改写权重

删除微调针对门控投影权重，即模型内部调节信息流的层中的学习参数。训练结果是二值掩码，即逐项标记各个值应保留还是置零的数组。这种方法不改写现有数值，而是标记保留和删除的位置。

训练时先用连续值调整删除决策，最终在保留与删除之间二选一。初始选择使用 Wanda 分数，这是一种利用权重大小和输入激活值估计权重重要性的指标。删除比例并不固定，在主要强化学习对比使用的六个模型中，删除的权重均不足总量的 0.05%。

2. 大模型的表现接近全量权重训练

研究人员采用贪心解码评估，即每一步都选择概率最高的答案片段，并报告验证准确率最高的检查点，也就是训练中保存的模型状态。以下对比是在同一模型上通过强化学习训练数学解题能力，即根据奖励改进回答。对比还纳入了 LoRA，这是一种仅训练额外低维矩阵的技术。

表：同一 80 亿参数模型的数学准确率与存储大小

条件：Llama3-8B-Instruct、GSM8K、GRPO、最佳验证检查点、贪心解码、H200 GPU·FSDP；存储大小为使用全量微调的 fp32 权重或压缩掩码等恢复模型所需磁盘空间的下限

单位：准确率 %，存储大小 MB（1 GB = 1024 MB）

在这些条件下，删除微调达到了与全量微调相近的准确率，同时减少了需要保存的改动量。表中基础模型的存储大小为 0，表示除原始模型外，没有需要额外保存的训练结果。

小模型仍存在差距。在同一数学任务上训练的 10 亿参数模型，删除微调的准确率为 54.44%，全量微调为 60.50%。使用另一套数学训练数据 SimpleRL-Zoo 训练的 Qwen2.5-14B，在六项基准上的平均准确率分别为 55.43% 和 54.87%。

在同样六项基准上评估的 Qwen3-30B-A3B，结果分别为 58.54% 和 58.43%。这将适用范围扩展到了混合专家模型，即针对不同输入仅使用部分专家层的结构；该模型在总计 300 亿参数中激活 30 亿。

3. 也适用于答案模仿和自蒸馏

在监督微调，即根据标准答案示例调整模型的训练中，该方法也展现了效果。30 亿参数 Llama 模型在知识评估 MMLU-Pro 上的平均准确率，删除微调为 22.28%，全量微调为 21.19%。在推理评估 BBEH 上，两种方法的平均准确率相同。

自蒸馏是在模型自行生成的回答上学习教师的下一词元预测，将教师模型的预测传递给学生模型。研究人员用 70 亿参数 Qwen 模型学习工具使用和科学问题，两项任务均取得可比全量微调的结果。工具使用准确率分别为 69.07% 和 68.04%，科学问题准确率分别为 70.61% 和 71.20%。在监督微调和自蒸馏中，删除掩码比全量微调检查点小 600~4700 倍。

在多次生成答案的评估中，模型也解出了新问题。在温度为 1.0、每题采样 128 个答案时，80 亿参数 Llama 模型在 GSM8K 上的解题比例，删除微调为 99.62%，基础模型为 95.29%。这并非单次回答的准确率，而是多次尝试中成功解题的比例。

4. 小存储空间的代价是训练内存

在主要强化学习对比中，删除微调的掩码比全量微调检查点小 3600~4700 倍。切换任务时，可以加载小型掩码并应用于原始权重。虽然存储负担减轻，但训练期间仍需为每个目标权重设置可训练变量，因此训练内存用量低于全量微调、高于 LoRA。

保留先前任务的性能也是一项优势。三种规模的 Llama 模型在六项任务上的平均准确率，在整个强化学习过程中与基础模型的差距始终不超过 1 个百分点。相比之下，LoRA 和仅调整随机选取的部分权重的训练方式，准确率最多下降 5.4 个百分点。

按顺序持续学习多个任务的实验仍有待开展。本次掩码删除的是门控投影中的单个权重，研究人员也将按固定分组删除权重、同时实现模型适配和压缩的方法列为未来课题。

5. 训练中选择的过程比初始删除位置更重要

仅用 Wanda 分数一次性选择删除位置，六个模型的结果与基础模型相差不超过 2.4 个百分点。以同样的 Wanda 分数为起点训练掩码后，准确率最高比基础模型高出 53.2 个百分点。这表明，仅靠初始删除位置无法获得的提升来自训练过程。

研究人员还比较了权重变化在不同方向上的分散程度、对原矩阵结构的改变程度，以及对主要权重的影响程度。综合这三个指标，删除微调比 LoRA 或随机稀疏微调，即仅选择部分权重进行调整的训练方式，更接近全量微调。这说明，即使只删除少量权重，变化形态也可能类似于训练全部权重。

删除微调的实用价值在于，接近大模型后训练准确率的同时，减少各任务的存储负担和先前任务的性能损失。