Huawei CSLが、元のモデル全体をGPUに載せずに配備用の4ビットモデルを作るMACaQを公開した。各線形層を独立に処理し、量子化時間と必要なGPUメモリを減らす方式だ。

1. MXFP4で重みと活性値をともに4ビット化

論文は重みと、計算中に受け渡される値である活性値をともに4ビットに下げ、品質、量子化コスト、実行速度を別々に比較した。使用するOCP MXFP4は、グループ単位でスケールを共有する4ビットの数値表現だ。

2. Llama-3-8Bの品質、2つのデータセットで改善

以下の表はMXFP4 W4A4量子化手法のパープレキシティを比較し、非量子化のFP16も基準として示す。パープレキシティは、モデルが次に続く言葉をどれだけよく予測できるかを表す指標で、低いほどよい。

表:Llama-3-8B MXFP4 W4A4のパープレキシティ

条件:OCP MXFP4 W4A4、Llama-3-8B、WikiText2の訓練セットでキャリブレーション(量子化誤差を減らすために代表入力を与えて統計を集める過程)、コンテキスト長2048、論文Table 1の元の値、FP16行は非量子化の基準。

単位:パープレキシティ

Llama-3-8Bの品質、2つのデータセットで改善
手法WikiText2C4
FP166.149.46
MR-GPTQ7.1311.37
DuQuant++ (GPTQ)7.1711.66
MACaQ6.9011.01

測定注記:論文の実験は、FP16演算504 TFLOPS、メモリ96GB、メモリ帯域幅1.79TB/sのGPU 1台で実施された。キャリブレーション後にWikiText2とC4のテストセットで評価した。基本実験は、隣接する4ビット値への変更で誤差を減らす処理であるFlip-Refinementを128回、キャリブレーショントークン20万個という条件だ。

論文の表1では、MACaQはMR-GPTQとDuQuant++系より低いパープレキシティを記録し、C4でも同じ順位を維持した。

3. 量子化時間を短縮、サービングの差は大きなバッチで

大型モデルのQwen3.5-122B-A10Bは、96GB GPU 1枚で64分間、GPUメモリ32.5GBを使用した。エキスパートを選んで計算するMoEモデルのエキスパート層のみを、Flip-Refinement 32回、キャリブレーショントークン512Kの条件で量子化した結果だ(論文・リポジトリの発表による)。

表:量子化コストと品質

条件:Llama-3-8B、MXFP4 W4A4、論文Table 7の元の値。キャリブレーション1ブロックは2048トークン単位で、MACaQはトークンストリームを換算する。

単位:量子化時間は秒、パープレキシティ

量子化時間を短縮、サービングの差は大きなバッチで
手法Flip-Refinement回数キャリブレーションブロック量子化時間(秒)WikiText2パープレキシティ
MACaQ0114.87.11
MACaQ12831.388.16.91
MACaQ512488.3431.06.86
MR-GPTQ–128319.17.11
DuQuant++ (GPTQ)–128624.47.16

表でパープレキシティ7.11に要した時間は、MACaQが14.8秒、MR-GPTQが319.1秒だ。MACaQの各行はFlip-Refinementの回数とキャリブレーションブロックをともに増やした結果だ。別途、著者らはコスト・品質曲線全体において、MR-GPTQとDuQuant++の最高品質に11分の1の時間で追いついたと述べた。

速度はバッチサイズによって異なる。Marlin W4A16は重み4ビット、活性値16ビットで計算する行列乗算カーネルだ。

表:Qwen3-32Bのバッチ別デコードスループット

条件:Qwen3-32B、vLLMグラフモード、512トークンのプロンプト、デコードtok/sの中央値、論文Table 6の元の値。

単位:tok/s

Qwen3-32Bのバッチ別デコードスループット (tok/s)1: BF16 22.8, Marlin W4A16 71.8, MACaQ 69.8; 64: BF16 1234.7, Marlin W4A16 2697.8, MACaQ 2709.8; 128: BF16 2086.1, Marlin W4A16 3170.0, MACaQ 3983.3; 256: BF16 3061.5, Marlin W4A16 3573.3, MACaQ 5252.8BF16Marlin W4A16MACaQ122.871.869.8641234.72697.82709.81282086.13170.03983.32563061.53573.35252.8
Qwen3-32Bのバッチ別デコードスループット (tok/s)
量子化時間を短縮、サービングの差は大きなバッチで
バッチBF16Marlin W4A16MACaQ
122.871.869.8
641234.72697.82709.8
1282086.13170.03983.3
2563061.53573.35252.8

表を見ると、バッチ1ではMACaQとMarlinは同程度だ。バッチが大きくなるとMarlinの伸び幅は小さくなり、MACaQは上がり続け、バッチ128から差が広がる。論文は、メモリからの読み出し速度がボトルネックの場合はMarlinと同程度で、演算量がボトルネックの場合は上回ると説明する。単一リクエストより、複数をまとめて処理するサービングで、対象バッチに合わせて比較すべき理由だ。

4. 層内の変換でストリーミング量子化

MACaQは活性値にチャネル別スケールとブロックアダマール回転、つまり値を直交回転させて分布を均す変換を適用し、その逆変換を重み側に吸収する。変換が層の外へ伝播しないため層をまたぐ依存関係が生じず、一度に1層だけをメモリに載せるストリーミング実装が可能だ。その代わり、層間の誤差補償は断念すると論文の著者らは説明した。

ブロックアダマール回転は4ビット表現の損失を減らす。ただし、この変換は推論のたびに計算する必要があり、コストが生じる。論文はQwen3-32BのvLLMで、バッチ1・コンテキスト512のデコード測定において、純粋なMXFP4に対し2.3%のオーバーヘッドと報告し、モデルが大きくなるほどこの比率は下がると説明した。

Flip-Refinementは入力分布を表す行列であるヘッセ行列を使い、各FP4コードを隣接する表現可能な値へ移して誤差を減らす。論文の要素別の寄与を示す表では、Llama-3-8Bはチャネル別スケール調整まで適用した状態のパープレキシティ7.08から、この処理を512回適用して6.87に下がった(キャリブレーショントークン20万個)。

5. GGUF補正と画像生成へ拡張

モデル保存形式のGGUFですでに量子化したMoEモデルと、それに対応する元のモデル、教師モデル、キャリブレーション資料を確保できたなら、MACaQ-Rを検討できる。KLは元のモデルと予測分布がどれほど異なるかを表し、低いほどよい。リポジトリの表によれば、Qwen3.6-35B-A3BでMACaQ-R Q4_K_XLは22.36GB、KL 0.013367、Unsloth UD-Q4_K_XLは22.36GB、KL 0.015731だった。

標準のllama.cppをインストールし、MACaQ-R GGUFを以下のパスに保存した場合、READMEの次のコマンドで実行できる。

llama cli -m models/model-macaq-r.gguf

論文の表3は、画像生成モデルFLUX.2-klein-4Bのトランスフォーマー部分のみ(DiT-only)をW4A4に下げ、1024²・6ステップ、GenEval2の800プロンプトで評価した。同じプロンプト・シードのBF16出力との比較で、MACaQは公式NVFP4より、画素レベルの類似度指標PSNRが15.04対14.85と高く、知覚的な差の指標LPIPSは0.218対0.235と低かった。

ただし、これらの数値は異なるモデル・ランタイム・GPUの組み合わせで得られたため、ある条件の結果を別の条件の根拠として流用してはいけない。

量子化の準備コストと実際のサービング性能は別の軸なので、対象のバッチとランタイムに合わせて経路を選ぶことが重要だ。