Huawei CSLが、元のモデル全体をGPUに載せずに配備用の4ビットモデルを作るMACaQを公開した。各線形層を独立に処理し、量子化時間と必要なGPUメモリを減らす方式だ。
1. MXFP4で重みと活性値をともに4ビット化
論文は重みと、計算中に受け渡される値である活性値をともに4ビットに下げ、品質、量子化コスト、実行速度を別々に比較した。使用するOCP MXFP4は、グループ単位でスケールを共有する4ビットの数値表現だ。
2. Llama-3-8Bの品質、2つのデータセットで改善
以下の表はMXFP4 W4A4量子化手法のパープレキシティを比較し、非量子化のFP16も基準として示す。パープレキシティは、モデルが次に続く言葉をどれだけよく予測できるかを表す指標で、低いほどよい。
表:Llama-3-8B MXFP4 W4A4のパープレキシティ
条件:OCP MXFP4 W4A4、Llama-3-8B、WikiText2の訓練セットでキャリブレーション(量子化誤差を減らすために代表入力を与えて統計を集める過程)、コンテキスト長2048、論文Table 1の元の値、FP16行は非量子化の基準。
単位:パープレキシティ
| 手法 | WikiText2 | C4 |
|---|---|---|
| FP16 | 6.14 | 9.46 |
| MR-GPTQ | 7.13 | 11.37 |
| DuQuant++ (GPTQ) | 7.17 | 11.66 |
| MACaQ | 6.90 | 11.01 |
測定注記:論文の実験は、FP16演算504 TFLOPS、メモリ96GB、メモリ帯域幅1.79TB/sのGPU 1台で実施された。キャリブレーション後にWikiText2とC4のテストセットで評価した。基本実験は、隣接する4ビット値への変更で誤差を減らす処理であるFlip-Refinementを128回、キャリブレーショントークン20万個という条件だ。
論文の表1では、MACaQはMR-GPTQとDuQuant++系より低いパープレキシティを記録し、C4でも同じ順位を維持した。
3. 量子化時間を短縮、サービングの差は大きなバッチで
大型モデルのQwen3.5-122B-A10Bは、96GB GPU 1枚で64分間、GPUメモリ32.5GBを使用した。エキスパートを選んで計算するMoEモデルのエキスパート層のみを、Flip-Refinement 32回、キャリブレーショントークン512Kの条件で量子化した結果だ(論文・リポジトリの発表による)。
表:量子化コストと品質
条件:Llama-3-8B、MXFP4 W4A4、論文Table 7の元の値。キャリブレーション1ブロックは2048トークン単位で、MACaQはトークンストリームを換算する。
単位:量子化時間は秒、パープレキシティ
| 手法 | Flip-Refinement回数 | キャリブレーションブロック | 量子化時間(秒) | WikiText2パープレキシティ |
|---|---|---|---|---|
| MACaQ | 0 | 1 | 14.8 | 7.11 |
| MACaQ | 128 | 31.3 | 88.1 | 6.91 |
| MACaQ | 512 | 488.3 | 431.0 | 6.86 |
| MR-GPTQ | – | 128 | 319.1 | 7.11 |
| DuQuant++ (GPTQ) | – | 128 | 624.4 | 7.16 |
表でパープレキシティ7.11に要した時間は、MACaQが14.8秒、MR-GPTQが319.1秒だ。MACaQの各行はFlip-Refinementの回数とキャリブレーションブロックをともに増やした結果だ。別途、著者らはコスト・品質曲線全体において、MR-GPTQとDuQuant++の最高品質に11分の1の時間で追いついたと述べた。
速度はバッチサイズによって異なる。Marlin W4A16は重み4ビット、活性値16ビットで計算する行列乗算カーネルだ。
表:Qwen3-32Bのバッチ別デコードスループット
条件:Qwen3-32B、vLLMグラフモード、512トークンのプロンプト、デコードtok/sの中央値、論文Table 6の元の値。
単位:tok/s
| バッチ | BF16 | Marlin W4A16 | MACaQ |
|---|---|---|---|
| 1 | 22.8 | 71.8 | 69.8 |
| 64 | 1234.7 | 2697.8 | 2709.8 |
| 128 | 2086.1 | 3170.0 | 3983.3 |
| 256 | 3061.5 | 3573.3 | 5252.8 |
表を見ると、バッチ1ではMACaQとMarlinは同程度だ。バッチが大きくなるとMarlinの伸び幅は小さくなり、MACaQは上がり続け、バッチ128から差が広がる。論文は、メモリからの読み出し速度がボトルネックの場合はMarlinと同程度で、演算量がボトルネックの場合は上回ると説明する。単一リクエストより、複数をまとめて処理するサービングで、対象バッチに合わせて比較すべき理由だ。
4. 層内の変換でストリーミング量子化
MACaQは活性値にチャネル別スケールとブロックアダマール回転、つまり値を直交回転させて分布を均す変換を適用し、その逆変換を重み側に吸収する。変換が層の外へ伝播しないため層をまたぐ依存関係が生じず、一度に1層だけをメモリに載せるストリーミング実装が可能だ。その代わり、層間の誤差補償は断念すると論文の著者らは説明した。
ブロックアダマール回転は4ビット表現の損失を減らす。ただし、この変換は推論のたびに計算する必要があり、コストが生じる。論文はQwen3-32BのvLLMで、バッチ1・コンテキスト512のデコード測定において、純粋なMXFP4に対し2.3%のオーバーヘッドと報告し、モデルが大きくなるほどこの比率は下がると説明した。
Flip-Refinementは入力分布を表す行列であるヘッセ行列を使い、各FP4コードを隣接する表現可能な値へ移して誤差を減らす。論文の要素別の寄与を示す表では、Llama-3-8Bはチャネル別スケール調整まで適用した状態のパープレキシティ7.08から、この処理を512回適用して6.87に下がった(キャリブレーショントークン20万個)。
5. GGUF補正と画像生成へ拡張
モデル保存形式のGGUFですでに量子化したMoEモデルと、それに対応する元のモデル、教師モデル、キャリブレーション資料を確保できたなら、MACaQ-Rを検討できる。KLは元のモデルと予測分布がどれほど異なるかを表し、低いほどよい。リポジトリの表によれば、Qwen3.6-35B-A3BでMACaQ-R Q4_K_XLは22.36GB、KL 0.013367、Unsloth UD-Q4_K_XLは22.36GB、KL 0.015731だった。
標準のllama.cppをインストールし、MACaQ-R GGUFを以下のパスに保存した場合、READMEの次のコマンドで実行できる。
llama cli -m models/model-macaq-r.gguf論文の表3は、画像生成モデルFLUX.2-klein-4Bのトランスフォーマー部分のみ(DiT-only)をW4A4に下げ、1024²・6ステップ、GenEval2の800プロンプトで評価した。同じプロンプト・シードのBF16出力との比較で、MACaQは公式NVFP4より、画素レベルの類似度指標PSNRが15.04対14.85と高く、知覚的な差の指標LPIPSは0.218対0.235と低かった。
ただし、これらの数値は異なるモデル・ランタイム・GPUの組み合わせで得られたため、ある条件の結果を別の条件の根拠として流用してはいけない。
量子化の準備コストと実際のサービング性能は別の軸なので、対象のバッチとランタイムに合わせて経路を選ぶことが重要だ。