オーストリア科学技術研究所の深層アルゴリズム・システム研究室が、7632億パラメータのモデルを部分ごとに異なる精度で圧縮した重みファイルを公開した。研究室の発表によると、専用の実行ツールを使えばメモリ12GBのNVIDIA GPU 1枚で推論でき、大規模モデルを自前の機器で試す開発者の選択肢が広がった。
1. 3種類のサイズの重みを公開
公開されたのは標準GGUF形式の重みファイル3種類だ。各ビルドはモデル本体のバックボーン重みを4ファイルに分割し、Engramルックアップテーブルのファイルを別途提供する。この共通ファイルはビルドが違っても同じで、一度だけダウンロードすればよい。
表：量子化ビルド別のファイル容量
条件：同じモデルのGSQ-RCOビルド；バックボーンは4分割ファイルの合計、Engramファイルは3ビルドで共有
単位：容量はGB（10億バイト）、bpwはバックボーンの重み当たりの平均ビット数
| ビルド | bpw | バックボーン | Engram | 合計 |
|---|---|---|---|---|
| IQ1_M | 1.75 | 120.72 | 110.60 | 231.32 |
| IQ2_XXS | 2.00 | 138.24 | 110.60 | 248.84 |
| IQ2_XS | 2.25 | 155.23 | 110.60 | 265.83 |
バックボーンは5519億パラメータ、Engramファイルは2つのルックアップテーブルに相当する1966億パラメータを格納する。原文はIQ2_XXSを元モデルに最も近い推奨ビルドとしている。最小構成でもファイルの総容量は231.32GBに達する。
2. 影響を受けやすい重みに精度を多く配分
非均一量子化は、重みの集まりであるテンソルごとに圧縮の強さを変える方式だ。すべてのテンソルに同じ量子化タイプを適用する代わりに、品質への影響が大きい部分に精度を多く配分しながら、全体のファイルサイズを調整する。
GSQは個々のテンソルを低ビット数で量子化し、RCOは所定の容量内でテンソルごとに適用するタイプを探索する。エキスパート重みのタイプは、GGUF形式に合わせて層単位で割り当てる。
3. 元モデルのスコアを維持した2ビットビルド
モデルカードに掲載されたベンチマークは推論強度50で測定された。基準モデルは密な重みをFP8、ルーティングされるエキスパートをFP4で公開した元モデルで、3項目の平均もカードの数値をそのまま転載した。
表：元モデルと量子化ビルドのベンチマーク
条件：推論強度50；基準はFP8の密な重みとFP4のルーティングされるエキスパート
単位：スコア；bpwはバックボーンの重み当たりの平均ビット数；回復率は基準モデルのタスク平均に対する比率（%）
| モデル | bpw | AIME25 | GPQA-Diamond | LiveCodeBench v6 | タスク平均 | 回復率（%） |
|---|---|---|---|---|---|---|
| 元モデル | — | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
| IQ1_M | 1.75 | 100.00 | 88.38 | 88.57 | 92.32 | 98.7 |
| IQ2_XXS | 2.00 | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
研究室の発表によると、IQ2_XXSは3つの評価項目すべてで元モデルと同じで、IQ1_Mは平均92.32点で基準比98.7%を記録した。
4. ローカル実行の利点とコスト
カードによると、Strataは単一の12GB NVIDIA GPUで3ビルドを実行し、同じコンピューターを指すアドレスであるローカルホスト上にOpenAI互換エンドポイントとワンクリックインストーラーを提供する。
Engramはトークンごとに1行を読み込む構造のため、ファイルをメモリのように扱うディスクのメモリマッピングが可能で、バックボーンはすべてをGPUに載せず、残りをシステムメモリに置く。カードはEngramファイルを半導体ベースの記憶装置であるSSDに置くよう案内している。
この構成はGPUメモリ要件を下げる代わりに、大容量ストレージとGPU外のメモリへ負担を移す。小型のIQ1_MはIQ2_XXSよりファイルの総容量が小さく、その代わりに平均スコアが低い。一方、2ビットのIQ2_XXSは容量が大きいが、公開された3つの評価で元モデルのスコアを維持した。
カードによると2026年10月23日現在、llama.cppはこのモデルをサポートしておらず、以下のコマンドは今後の対応後を想定した例で、現在の実行にはStrataを使う。IQ2_XSのベンチマーク結果は、カードでは測定予定と記されている。
llama-server -m DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XXS-00001-of-00004.gguf -ngl 99 \
--reasoning on --reasoning-effort 50今回の公開は、テンソルごとの精度配分で元モデルの評価スコアを維持する圧縮版を提示し、Strataを通じてGPUメモリの負担をシステムメモリとストレージに移すローカル実行の道を開いた。