华为 CSL 发布了 MACaQ,无需将原始模型整体载入 GPU,即可生成用于部署的 4 位模型。它独立处理每个线性层,以减少量化时间和所需的 GPU 显存。

1. 使用 MXFP4 将权重与激活值均量化为 4 位

论文将权重和计算过程中传递的激活值均降至 4 位后,分别比较质量、量化成本和运行速度。所采用的 OCP MXFP4 是一种按组共享缩放因子的 4 位数值表示格式。

2. Llama-3-8B 在两个数据集上的质量均有改善

下表比较了各 MXFP4 W4A4 量化方法的困惑度,并列出未量化的 FP16 作为基线。困惑度衡量模型预测下一个词的能力,数值越低越好。

表:Llama-3-8B MXFP4 W4A4 困惑度

条件:OCP MXFP4 W4A4,Llama-3-8B,使用 WikiText2 训练集进行校准(输入代表性样本收集统计信息,以减少量化误差),上下文长度为 2048,采用论文 Table 1 原始数值,FP16 行为未量化基线。

单位:困惑度

Llama-3-8B 在两个数据集上的质量均有改善
方法WikiText2C4
FP166.149.46
MR-GPTQ7.1311.37
DuQuant++ (GPTQ)7.1711.66
MACaQ6.9011.01

测量注释:论文实验在一块具备 504 TFLOPS FP16 算力、96GB 显存和 1.79TB/s 显存带宽的 GPU 上进行。校准后使用 WikiText2 和 C4 测试集评估。基础实验采用 128 次 Flip-Refinement 和 20 万个校准词元;该过程通过替换为相邻的 4 位值来降低误差。

根据论文表 1,MACaQ 的困惑度低于 MR-GPTQ 和 DuQuant++ 系列,在 C4 上也保持了相同排序。

3. 缩短量化时间,大批量下推理服务差距显现

大型模型 Qwen3.5-122B-A10B 在一块 96GB GPU 上耗时 64 分钟,占用 32.5GB 显存。这是仅对按需选择专家参与计算的 MoE 模型的专家层进行量化的结果,条件为 32 次 Flip-Refinement 和 512K 校准词元(据论文及代码仓库公布的数据)。

表:量化成本与质量

条件:Llama-3-8B,MXFP4 W4A4,采用论文 Table 7 原始数值,每 1 个校准块包含 2048 个词元,MACaQ 按词元流折算。

单位:量化时间为秒,困惑度

缩短量化时间,大批量下推理服务差距显现
方法Flip-Refinement 次数校准块数量化时间(秒)WikiText2 困惑度
MACaQ0114.87.11
MACaQ12831.388.16.91
MACaQ512488.3431.06.86
MR-GPTQ–128319.17.11
DuQuant++ (GPTQ)–128624.47.16

表中达到困惑度 7.11 时,MACaQ 耗时 14.8 秒,MR-GPTQ 耗时 319.1 秒。MACaQ 各行对应同时增加 Flip-Refinement 次数和校准块数的结果。此外,作者称,在完整的成本与质量曲线上,MACaQ 以缩短至 1/11 的时间达到了 MR-GPTQ 和 DuQuant++ 的最佳质量。

速度随批大小而变化。Marlin W4A16 是使用 4 位权重和 16 位激活值计算的矩阵乘法内核。

表:Qwen3-32B 各批大小下的解码吞吐量

条件:Qwen3-32B,vLLM 图模式,512 词元提示,解码 tok/s 中位数,采用论文 Table 6 原始数值。

单位:tok/s

Qwen3-32B 各批大小下的解码吞吐量 (tok/s)1: BF16 22.8, Marlin W4A16 71.8, MACaQ 69.8; 64: BF16 1234.7, Marlin W4A16 2697.8, MACaQ 2709.8; 128: BF16 2086.1, Marlin W4A16 3170.0, MACaQ 3983.3; 256: BF16 3061.5, Marlin W4A16 3573.3, MACaQ 5252.8BF16Marlin W4A16MACaQ122.871.869.8641234.72697.82709.81282086.13170.03983.32563061.53573.35252.8
Qwen3-32B 各批大小下的解码吞吐量 (tok/s)
缩短量化时间,大批量下推理服务差距显现
批大小BF16Marlin W4A16MACaQ
122.871.869.8
641234.72697.82709.8
1282086.13170.03983.3
2563061.53573.35252.8

从表中可见,批大小为 1 时,MACaQ 与 Marlin 的表现接近。随着批大小增加,Marlin 的增幅缩小,MACaQ 则持续上升,从批大小 128 开始拉开差距。论文解释,当显存读取速度成为瓶颈时,其表现与 Marlin 接近;当计算量成为瓶颈时则领先。因此,在合并多个请求而非处理单个请求的推理服务中,应按目标批大小进行比较。

4. 通过层内变换实现流式量化

MACaQ 对激活值应用逐通道缩放和分块哈达玛旋转,即通过正交旋转使数值分布更均匀的变换,并将其逆变换吸收到权重中。变换不会传播到层外,因此不产生跨层依赖,可以实现一次仅将一层载入内存的流式处理。不过,论文作者说明,这也意味着放弃层间误差补偿。

分块哈达玛旋转可减少 4 位表示的损失。但这一变换在每次推理时都需要计算,因此存在开销。论文报告,在 Qwen3-32B vLLM 的批大小为 1、上下文长度为 512 的解码测量中,相比纯 MXFP4 的开销为 2.3%,且模型越大,该比例越低。

Flip-Refinement 利用表示输入分布的海森矩阵,将每个 FP4 编码调整为相邻的可表示值,以降低误差。论文的消融表显示,在已应用逐通道缩放的基础上,Llama-3-8B 经 512 次该过程后,困惑度从 7.08 降至 6.87(使用 20 万个校准词元)。

5. 扩展至 GGUF 校正与图像生成

如果已有量化为 GGUF 模型存储格式的 MoE 模型,并具备与之匹配的原始模型、教师模型和校准数据,可以考虑 MACaQ-R。KL 表示预测分布相对原始模型的差异,越低越好。据仓库表格,Qwen3.6-35B-A3B 的 MACaQ-R Q4_K_XL 为 22.36GB、KL 0.013367,Unsloth UD-Q4_K_XL 为 22.36GB、KL 0.015731。

安装标准版 llama.cpp,并将 MACaQ-R GGUF 保存到以下路径后,即可使用 README 中的下列命令运行。

llama cli -m models/model-macaq-r.gguf

论文表 3 仅将图像生成模型 FLUX.2-klein-4B 的 Transformer 部分(DiT-only)降至 W4A4,并以 1024²、6 步和 GenEval2 的 800 条提示进行评估。与相同提示和种子的 BF16 输出比较,MACaQ 的像素级相似度指标 PSNR 高于官方 NVFP4,为 15.04 对 14.85;感知差异指标 LPIPS 更低,为 0.218 对 0.235。

不过,这些数值来自不同的模型、运行时和 GPU 组合,因此不能将一种条件下的结果用作另一种条件下的依据。

量化准备成本与实际推理服务性能是两个独立维度,关键在于根据目标批大小和运行时选择方案。