奥地利科学技术研究院深度算法与系统实验室发布了权重文件，以不同精度压缩这个拥有 7632 亿参数的模型的各个部分。据实验室介绍，使用专用运行工具即可在单张显存为 12GB 的英伟达 GPU 上进行推理，为希望在自有设备上测试大型模型的开发者提供了更多选择。
1. 发布三种大小的权重
此次发布了三种标准 GGUF 格式的权重文件。每个构建版本将模型主体的骨干权重拆分为四个文件，并单独提供 Engram 查找表文件。这一共享文件在不同构建版本中相同，只需下载一次。
表：各量化构建版本的文件大小
条件：同一模型的 GSQ-RCO 构建版本；骨干为四个分片之和，Engram 文件由三个构建版本共享
单位：容量为 GB（10 亿字节），bpw 为骨干每个权重的平均比特数
| 构建版本 | bpw | 骨干 | Engram | 总计 |
|---|---|---|---|---|
| IQ1_M | 1.75 | 120.72 | 110.60 | 231.32 |
| IQ2_XXS | 2.00 | 138.24 | 110.60 | 248.84 |
| IQ2_XS | 2.25 | 155.23 | 110.60 | 265.83 |
骨干包含 5519 亿参数，Engram 文件包含两个查找表对应的 1966 亿参数。原文将 IQ2_XXS 列为最接近原版的推荐构建版本。即使是最小配置，文件总大小也达到 231.32GB。
2. 为敏感权重分配更高精度
非均匀量化是对不同的权重集合，即张量，采用不同压缩强度的方法。它不为所有张量应用同一种量化类型，而是在满足整体文件大小要求的同时，为影响质量较大的部分分配更高精度。
GSQ 将各个张量量化为低比特形式，RCO 则在给定容量内搜索适用于各个张量的类型。专家权重的类型按层分配，以适配 GGUF 格式。
3. 保持原版分数的 2 比特构建版本
模型卡中的基准测试在推理强度为 50 时测得。基准模型是以 FP8 稠密权重、FP4 路由专家形式发布的原版，三项任务的平均值也直接采用模型卡中的数值。
表：原版与量化构建版本的基准测试
条件：推理强度为 50；基准为 FP8 稠密权重和 FP4 路由专家
单位：分数；bpw 为骨干每个权重的平均比特数；恢复率为相对于基准模型任务平均分的比例（%）
| 模型 | bpw | AIME25 | GPQA-Diamond | LiveCodeBench v6 | 任务平均分 | 恢复率（%） |
|---|---|---|---|---|---|---|
| 原版 | — | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
| IQ1_M | 1.75 | 100.00 | 88.38 | 88.57 | 92.32 | 98.7 |
| IQ2_XXS | 2.00 | 100.00 | 90.91 | 89.71 | 93.54 | 100.0 |
据实验室公布的数据，IQ2_XXS 的三项评测分数均与原版相同，IQ1_M 的平均分为 92.32，达到基准的 98.7%。
4. 本地运行的优势与代价
模型卡写道，Strata 可在单张 12GB 英伟达 GPU 上运行这三个构建版本，并在 localhost（指向同一台计算机的地址）提供兼容 OpenAI 的端点和一键安装程序。
Engram 的结构是每个 token 读取一行，因此可以采用磁盘内存映射，即将文件当作内存使用的方式；骨干则无需全部加载到 GPU，其余部分保留在系统内存中。模型卡建议将 Engram 文件存放在 SSD，即基于半导体的存储设备上。
这一配置降低了 GPU 显存需求，却将负担转移到大容量存储和 GPU 之外的内存上。较小的 IQ1_M 比 IQ2_XXS 的文件总大小更小，代价是平均分更低。相比之下，2 比特的 IQ2_XXS 容量更大，但在已公布的三项评测中保留了原版分数。
据模型卡，截至 2026 年 10 月 23 日，llama.cpp 尚不支持该模型，因此下方命令是未来支持后的示例，目前运行需使用 Strata。IQ2_XS 的基准测试结果在模型卡中标记为待测。
llama-server -m DeepSeek-V4.1-Flash-1017-GSQ-RCO-IQ2_XXS-00001-of-00004.gguf -ngl 99 \
--reasoning on --reasoning-effort 50此次发布通过按张量分配精度，提供了保持原版评测分数的压缩版本，并借助 Strata 开辟了将 GPU 显存负担转移到系统内存和存储空间的本地运行路径。