화웨이 CSL이 원본 모델을 GPU에 통째로 올리지 않고도 배포용 4비트 모델을 만드는 MACaQ를 공개했다. 각 선형 레이어를 독립적으로 처리해 양자화 시간과 필요한 GPU 메모리를 줄이는 방식이다.
1. MXFP4로 가중치와 활성값을 모두 4비트화
논문은 가중치와 계산 중 전달되는 값인 활성값을 모두 4비트로 낮춘 뒤 품질과 양자화 비용, 실행 속도를 따로 비교했다. 사용하는 OCP MXFP4는 묶음 단위 배율을 공유하는 4비트 수 표현이다.
2. Llama-3-8B 품질, 두 데이터셋에서 개선
아래 표는 MXFP4 W4A4 양자화 방법들의 퍼플렉시티를 비교하고, 비양자화 FP16은 기준선으로 함께 제시한다. 퍼플렉시티는 모델이 이어 낼 다음 말을 얼마나 잘 맞히는지 나타내는 지표로 낮을수록 좋다.
표: Llama-3-8B MXFP4 W4A4 퍼플렉시티
조건: OCP MXFP4 W4A4, Llama-3-8B, 위키텍스트2 트레인 세트 캘리브레이션(양자화 오차를 줄이기 위해 대표 입력을 넣어 통계를 모으는 과정), 컨텍스트 길이 2048, 논문 Table 1 원값, FP16 행은 비양자화 기준선.
단위: 퍼플렉시티
| 방법 | 위키텍스트2 | C4 |
|---|---|---|
| FP16 | 6.14 | 9.46 |
| MR-GPTQ | 7.13 | 11.37 |
| DuQuant++ (GPTQ) | 7.17 | 11.66 |
| MACaQ | 6.90 | 11.01 |
측정 주석: 논문 실험은 504 TFLOPS의 FP16 연산, 96GB 메모리, 1.79TB/s 메모리 대역폭을 갖춘 GPU 한 대에서 진행됐다. 캘리브레이션 뒤 위키텍스트2와 C4 테스트 세트로 평가했다. 기본 실험은 인접한 4비트 값으로 바꿔 오차를 줄이는 절차인 Flip-Refinement 128회·캘리브레이션 토큰 20만 개 조건이다.
논문 표 1 기준 MACaQ는 MR-GPTQ와 DuQuant++ 계열보다 낮은 퍼플렉시티를 기록했고 C4에서도 같은 순서를 유지했다.
3. 양자화 시간 단축, 서빙 격차는 큰 배치에서
대형 모델인 Qwen3.5-122B-A10B는 96GB GPU 한 장에서 64분 동안 GPU 메모리 32.5GB를 썼다. 전문가를 골라 계산하는 MoE 모델의 전문가 레이어만 32회 Flip-Refinement와 512K 캘리브레이션 토큰 조건으로 양자화한 결과다(논문·저장소 발표 기준).
표: 양자화 비용과 품질
조건: Llama-3-8B, MXFP4 W4A4, 논문 Table 7 원값, 캘리브레이션 1블록은 2048토큰 단위이고 MACaQ는 토큰 스트림을 환산한다.
단위: 양자화 시간은 초, 퍼플렉시티
| 방법 | Flip-Refinement 횟수 | 캘리브레이션 블록 | 양자화 시간(초) | 위키텍스트2 퍼플렉시티 |
|---|---|---|---|---|
| MACaQ | 0 | 1 | 14.8 | 7.11 |
| MACaQ | 128 | 31.3 | 88.1 | 6.91 |
| MACaQ | 512 | 488.3 | 431.0 | 6.86 |
| MR-GPTQ | – | 128 | 319.1 | 7.11 |
| DuQuant++ (GPTQ) | – | 128 | 624.4 | 7.16 |
표에서 퍼플렉시티 7.11에 걸린 시간은 MACaQ 14.8초, MR-GPTQ 319.1초다. MACaQ 행은 Flip-Refinement 횟수와 캘리브레이션 블록을 함께 키운 결과다. 별도로 저자들은 전체 비용·품질 곡선에서 MR-GPTQ와 DuQuant++의 최고 품질을 11배 짧은 시간에 따라잡았다고 밝혔다.
속도는 배치 크기에 따라 갈린다. Marlin W4A16은 가중치 4비트와 활성값 16비트로 계산하는 행렬 곱셈 커널이다.
표: Qwen3-32B 배치별 디코딩 처리량
조건: Qwen3-32B, vLLM 그래프 모드, 512토큰 프롬프트, 디코딩 tok/s 중간값, 논문 Table 6 원값.
단위: tok/s
| 배치 | BF16 | Marlin W4A16 | MACaQ |
|---|---|---|---|
| 1 | 22.8 | 71.8 | 69.8 |
| 64 | 1234.7 | 2697.8 | 2709.8 |
| 128 | 2086.1 | 3170.0 | 3983.3 |
| 256 | 3061.5 | 3573.3 | 5252.8 |
표에서 읽으면 배치 1에서는 MACaQ와 Marlin이 비슷한 수준이다. 배치가 커질수록 Marlin의 증가폭이 줄고 MACaQ는 계속 올라가, 배치 128부터 격차가 벌어진다. 논문은 메모리에서 값을 읽는 속도가 병목일 때는 Marlin과 비슷하고, 연산량이 병목일 때는 앞선다고 설명한다. 단일 요청보다 여러 요청을 묶어 처리하는 서빙에서 목표 배치에 맞춰 비교할 이유다.
4. 레이어 내부 변환으로 스트리밍 양자화
MACaQ는 활성값에 채널별 스케일과 블록 하담드 회전, 즉 값을 직교 회전시켜 분포를 고르게 펴는 변환을 걸고 그 역변환을 가중치 쪽에 흡수한다. 변환이 레이어 밖으로 전파되지 않아 크로스 레이어 의존성이 생기지 않고, 한 번에 레이어 하나만 메모리에 올리는 스트리밍 구현이 가능하다. 대신 논문 저자들은 레이어 간 오차 보상은 포기한다고 설명했다.
블록 하담드 회전은 4비트 표현의 손실을 줄여준다. 다만 이 변환은 추론 때마다 계산해야 하므로 비용이 붙고, 논문은 Qwen3-32B vLLM의 배치 1·컨텍스트 512 디코드 측정에서 순수 MXFP4 대비 2.3% 오버헤드라고 보고하며, 모델이 커질수록 이 비율은 낮아진다고 설명했다.
Flip-Refinement는 입력 분포를 나타내는 행렬인 헤시안을 이용해 각 FP4 코드를 인접한 표현 가능 값으로 옮겨 오차를 줄인다. 논문의 성분별 기여도 표에서 Llama-3-8B는 채널별 배율 조정까지 적용한 상태의 퍼플렉시티 7.08에서, 이 절차를 512회 적용해 6.87로 내려갔다(캘리브레이션 토큰 20만 개).
5. GGUF 보정과 이미지 생성으로 확장
모델 저장 형식인 GGUF로 이미 양자화한 MoE 모델과 일치하는 원본 모델·교사 모델·캘리브레이션 자료를 확보했다면 MACaQ-R을 고려할 수 있다. KL은 원본 모델과 예측 분포가 얼마나 달라졌는지 나타내며 낮을수록 좋다. 저장소 표에 따르면 Qwen3.6-35B-A3B에서 MACaQ-R Q4_K_XL은 22.36GB에 KL 0.013367, Unsloth UD-Q4_K_XL은 22.36GB에 KL 0.015731이었다.
표준 llama.cpp를 설치하고 MACaQ-R GGUF를 아래 경로에 저장했다면 README의 다음 명령으로 실행할 수 있다.
llama cli -m models/model-macaq-r.gguf논문 표 3은 이미지 생성 모델인 FLUX.2-klein-4B의 변환기 부분만(DiT-only) W4A4로 낮춰 1024²·6스텝, GenEval2 800프롬프트로 평가했다. 같은 프롬프트·시드의 BF16 출력과 비교해 MACaQ는 공식 NVFP4보다 픽셀 수준 유사도 지표인 PSNR이 15.04 대 14.85로 높고, 지각적 차이 지표인 LPIPS는 0.218 대 0.235로 낮았다.
다만 이 수치들은 서로 다른 모델·런타임·GPU 조합에서 나왔기 때문에 한 조건의 결과를 다른 조건의 근거로 옮겨 쓰면 안 된다.
양자화 준비 비용과 실제 서빙 성능은 별도 축이므로, 목표 배치와 런타임에 맞춰 경로를 고르는 것이 핵심이다.