오스트리아 과학기술원 딥 알고리즘·시스템 연구실이 7632억 파라미터 모델을 부분마다 다른 정밀도로 압축한 가중치 파일을 공개했다. 연구실 발표 기준으로 전용 실행 도구를 쓰면 메모리 12GB인 엔비디아 GPU 한 장에서 추론할 수 있어, 대형 모델을 자체 장비에서 시험하려는 개발자의 선택지가 넓어졌다.
1. 세 가지 크기의 가중치 공개
공개본은 표준 GGUF 형식의 가중치 파일 세 가지다. 각 빌드는 모델의 본체인 백본 가중치를 네 파일로 나누고, Engram 조회 테이블 파일을 별도로 제공한다. 이 공용 파일은 빌드가 달라도 같아 한 번만 받으면 된다.
표: 양자화 빌드별 파일 용량
조건: 같은 모델의 GSQ-RCO 빌드; 백본은 네 조각의 합, Engram 파일은 세 빌드가 공유
단위: 용량은 GB(10억 바이트), bpw는 백본 가중치당 평균 비트
| 빌드 | bpw | 백본 | Engram | 전체 |
|---|---|---|---|---|
| IQ1_M | 1.75 | 120.72 | 110.60 | 231.32 |
| IQ2_XXS | 2.00 | 138.24 | 110.60 | 248.84 |
| IQ2_XS | 2.25 | 155.23 | 110.60 | 265.83 |
백본은 5519억 파라미터, Engram 파일은 두 조회 테이블에 해당하는 1966억 파라미터를 담는다. 원문은 IQ2_XXS를 원본에 가장 가까운 권장 빌드로 꼽는다. 가장 작은 구성에서도 전체 파일 용량은 231.32GB에 이른다.
2. 민감한 가중치에 정밀도를 더 배분
비균일 양자화는 가중치 묶음인 텐서마다 압축 강도를 달리하는 방식이다. 모든 텐서에 같은 양자화 유형을 적용하는 대신, 품질에 민감한 부분에 정밀도를 더 배분하면서 전체 파일 크기를 맞춘다.
GSQ는 개별 텐서를 낮은 비트 수로 양자화하고, RCO는 정해진 용량 안에서 텐서마다 적용할 유형을 탐색한다. 전문가 가중치의 유형은 GGUF 형식에 맞춰 층 단위로 배정한다.
3. 원본 점수를 유지한 2비트 빌드
모델 카드에 실린 벤치마크는 추론 강도 50에서 측정됐다. 기준 모델은 밀집 가중치 FP8, 라우팅 전문가 FP4로 공개된 원본이며 세 항목의 평균도 카드의 수치 그대로 옮겼다.
표: 원본과 양자화 빌드의 벤치마크
조건: 추론 강도 50; 기준은 FP8 밀집 가중치와 FP4 라우팅 전문가
단위: 점수; bpw는 백본 가중치당 평균 비트; 회복률은 기준 모델 과제 평균 대비 비율(%)
| 모델 | bpw | AIME25 | GPQA-Diamond | LiveCodeBench v6 | 과제 평균 | 회복률(%) |
|---|---|---|---|---|---|---|
| 원본 | — | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
| IQ1_M | 1.75 | 100.00 | 88.38 | 88.57 | 92.32 | 98.7 |
| IQ2_XXS | 2.00 | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
연구실 발표 기준 IQ2_XXS는 세 평가 항목 모두 원본과 같았고, IQ1_M은 평균 92.32점으로 기준 대비 98.7%를 기록했다.
4. 로컬 실행의 이점과 비용
Strata는 단일 12GB 엔비디아 GPU에서 세 빌드를 실행하고 로컬호스트, 같은 컴퓨터를 가리키는 주소에서 OpenAI 호환 접속점과 원클릭 설치기를 제공한다고 카드에 적혀 있다.
Engram은 토큰마다 한 행을 읽는 구조여서 디스크 메모리 매핑, 파일을 메모리처럼 다루는 방식이 가능하며, 백본은 GPU에 모두 올리지 않고 나머지를 시스템 메모리에 둔다. 카드에서는 Engram 파일을 SSD, 반도체 기반 저장 장치에 두도록 안내한다.
이 구성은 GPU 메모리 요구량을 낮추는 대신 대용량 저장 공간과 GPU 밖의 메모리에 부담을 옮긴다. 작은 IQ1_M은 IQ2_XXS보다 파일 전체 용량이 작고, 그 대가로 평균 점수가 낮다. 반면 2비트 IQ2_XXS는 용량이 더 크지만 공개된 세 평가에서 원본 점수를 보존했다.
카드 기준 2026년 10월 23일 현재 llama.cpp는 이 모델을 지원하지 않아 아래 명령은 향후 지원 이후의 예시이며, 현재 실행에는 Strata를 사용한다. IQ2_XS의 벤치마크 결과는 카드에서 측정 예정으로 표시돼 있다.
llama-server -m DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XXS-00001-of-00004.gguf -ngl 99 \
--reasoning on --reasoning-effort 50이번 공개는 텐서별 정밀도 배분으로 원본 평가 점수를 유지하는 압축본을 제시하고, Strata를 통해 GPU 메모리 부담을 시스템 메모리와 저장 공간으로 옮긴 로컬 실행 경로를 열었다.