华为 CSL 发布了 MACaQ,无需将原始模型整体载入 GPU,即可生成用于部署的 4 位模型。它独立处理每个线性层,以减少量化时间和所需的 GPU 显存。
1. 使用 MXFP4 将权重与激活值均量化为 4 位
论文将权重和计算过程中传递的激活值均降至 4 位后,分别比较质量、量化成本和运行速度。所采用的 OCP MXFP4 是一种按组共享缩放因子的 4 位数值表示格式。
2. Llama-3-8B 在两个数据集上的质量均有改善
下表比较了各 MXFP4 W4A4 量化方法的困惑度,并列出未量化的 FP16 作为基线。困惑度衡量模型预测下一个词的能力,数值越低越好。
表:Llama-3-8B MXFP4 W4A4 困惑度
条件:OCP MXFP4 W4A4,Llama-3-8B,使用 WikiText2 训练集进行校准(输入代表性样本收集统计信息,以减少量化误差),上下文长度为 2048,采用论文 Table 1 原始数值,FP16 行为未量化基线。
单位:困惑度
| 方法 | WikiText2 | C4 |
|---|---|---|
| FP16 | 6.14 | 9.46 |
| MR-GPTQ | 7.13 | 11.37 |
| DuQuant++ (GPTQ) | 7.17 | 11.66 |
| MACaQ | 6.90 | 11.01 |
测量注释:论文实验在一块具备 504 TFLOPS FP16 算力、96GB 显存和 1.79TB/s 显存带宽的 GPU 上进行。校准后使用 WikiText2 和 C4 测试集评估。基础实验采用 128 次 Flip-Refinement 和 20 万个校准词元;该过程通过替换为相邻的 4 位值来降低误差。
根据论文表 1,MACaQ 的困惑度低于 MR-GPTQ 和 DuQuant++ 系列,在 C4 上也保持了相同排序。
3. 缩短量化时间,大批量下推理服务差距显现
大型模型 Qwen3.5-122B-A10B 在一块 96GB GPU 上耗时 64 分钟,占用 32.5GB 显存。这是仅对按需选择专家参与计算的 MoE 模型的专家层进行量化的结果,条件为 32 次 Flip-Refinement 和 512K 校准词元(据论文及代码仓库公布的数据)。
表:量化成本与质量
条件:Llama-3-8B,MXFP4 W4A4,采用论文 Table 7 原始数值,每 1 个校准块包含 2048 个词元,MACaQ 按词元流折算。
单位:量化时间为秒,困惑度
| 方法 | Flip-Refinement 次数 | 校准块数 | 量化时间(秒) | WikiText2 困惑度 |
|---|---|---|---|---|
| MACaQ | 0 | 1 | 14.8 | 7.11 |
| MACaQ | 128 | 31.3 | 88.1 | 6.91 |
| MACaQ | 512 | 488.3 | 431.0 | 6.86 |
| MR-GPTQ | – | 128 | 319.1 | 7.11 |
| DuQuant++ (GPTQ) | – | 128 | 624.4 | 7.16 |
表中达到困惑度 7.11 时,MACaQ 耗时 14.8 秒,MR-GPTQ 耗时 319.1 秒。MACaQ 各行对应同时增加 Flip-Refinement 次数和校准块数的结果。此外,作者称,在完整的成本与质量曲线上,MACaQ 以缩短至 1/11 的时间达到了 MR-GPTQ 和 DuQuant++ 的最佳质量。
速度随批大小而变化。Marlin W4A16 是使用 4 位权重和 16 位激活值计算的矩阵乘法内核。
表:Qwen3-32B 各批大小下的解码吞吐量
条件:Qwen3-32B,vLLM 图模式,512 词元提示,解码 tok/s 中位数,采用论文 Table 6 原始数值。
单位:tok/s
| 批大小 | BF16 | Marlin W4A16 | MACaQ |
|---|---|---|---|
| 1 | 22.8 | 71.8 | 69.8 |
| 64 | 1234.7 | 2697.8 | 2709.8 |
| 128 | 2086.1 | 3170.0 | 3983.3 |
| 256 | 3061.5 | 3573.3 | 5252.8 |
从表中可见,批大小为 1 时,MACaQ 与 Marlin 的表现接近。随着批大小增加,Marlin 的增幅缩小,MACaQ 则持续上升,从批大小 128 开始拉开差距。论文解释,当显存读取速度成为瓶颈时,其表现与 Marlin 接近;当计算量成为瓶颈时则领先。因此,在合并多个请求而非处理单个请求的推理服务中,应按目标批大小进行比较。
4. 通过层内变换实现流式量化
MACaQ 对激活值应用逐通道缩放和分块哈达玛旋转,即通过正交旋转使数值分布更均匀的变换,并将其逆变换吸收到权重中。变换不会传播到层外,因此不产生跨层依赖,可以实现一次仅将一层载入内存的流式处理。不过,论文作者说明,这也意味着放弃层间误差补偿。
分块哈达玛旋转可减少 4 位表示的损失。但这一变换在每次推理时都需要计算,因此存在开销。论文报告,在 Qwen3-32B vLLM 的批大小为 1、上下文长度为 512 的解码测量中,相比纯 MXFP4 的开销为 2.3%,且模型越大,该比例越低。
Flip-Refinement 利用表示输入分布的海森矩阵,将每个 FP4 编码调整为相邻的可表示值,以降低误差。论文的消融表显示,在已应用逐通道缩放的基础上,Llama-3-8B 经 512 次该过程后,困惑度从 7.08 降至 6.87(使用 20 万个校准词元)。
5. 扩展至 GGUF 校正与图像生成
如果已有量化为 GGUF 模型存储格式的 MoE 模型,并具备与之匹配的原始模型、教师模型和校准数据,可以考虑 MACaQ-R。KL 表示预测分布相对原始模型的差异,越低越好。据仓库表格,Qwen3.6-35B-A3B 的 MACaQ-R Q4_K_XL 为 22.36GB、KL 0.013367,Unsloth UD-Q4_K_XL 为 22.36GB、KL 0.015731。
安装标准版 llama.cpp,并将 MACaQ-R GGUF 保存到以下路径后,即可使用 README 中的下列命令运行。
llama cli -m models/model-macaq-r.gguf论文表 3 仅将图像生成模型 FLUX.2-klein-4B 的 Transformer 部分(DiT-only)降至 W4A4,并以 1024²、6 步和 GenEval2 的 800 条提示进行评估。与相同提示和种子的 BF16 输出比较,MACaQ 的像素级相似度指标 PSNR 高于官方 NVFP4,为 15.04 对 14.85;感知差异指标 LPIPS 更低,为 0.218 对 0.235。
不过,这些数值来自不同的模型、运行时和 GPU 组合,因此不能将一种条件下的结果用作另一种条件下的依据。
量化准备成本与实际推理服务性能是两个独立维度,关键在于根据目标批大小和运行时选择方案。