面向在消费级显卡上试验大语言模型的开发者，一款为减少拒答的压缩模型加装生成加速预测装置的构建版本已发布。速度提升也伴随着显存用量增加，因此需根据显卡容量和待处理文本长度选择。

1. 无审查处理与加速装置是两回事

基础是OS-Software的Ternary Bonsai 2 27B无审查构建版本，在此之上移植了Qwen 3.8 27B的多令牌预测头。无审查处理由基础模型制作者完成，此次发布者的贡献是预测头移植、整合文件、相关工具及核心计算代码。这并非原厂官方发行版。

三值压缩通过用三个值表示权重来减少存储空间。

多令牌预测由辅助装置预先撰写后续内容，再由主模型验证，利用通过验证的草稿加快生成。据发布者介绍，基础权重保持不变，额外添加了15个预测用张量，共335 MiB。

2. 需要专用运行版本与配置

普通llama.cpp无法读取该文件的压缩格式。性能测量使用了修改PrismML系列运行版本的bonsai2分支，其中也包含必要的预测头修改。以下是模型卡提供的12GB显卡运行示例。

hf download sudoingx/Offrail-27B-Uncensored Offrail-27B-12G.gguf --local-dir .
GGML_CUDA_BATCH_INVARIANT=1 llama-server -m Offrail-27B-12G.gguf \
  -ngl 99 -fa on -c 131072 -np 1 -ctk q4_0 -ctv q4_0 --jinja \
  --reasoning-effort medium --spec-type draft-mtp --spec-draft-n-max 1

模型卡建议如示例所示，将推理努力程度设为中等。其说明称，在RTX 3060上对三个构建任务设置4,096令牌的响应上限时，默认的最高档设置未能返回回答。

3. 相同条件下提速约20%

发布者的测量条件为RTX 3060 12GB、单个处理槽位、关闭思考模式、q4_0格式的键值缓存、开启注意力加速。缓存是用于复用先前处理内容的存储空间。测试开启了减少批次所致计算差异的设置，将3个提示词各运行3次，取生成400令牌结果的中位数。

将一次可处理范围即上下文窗口设为131,072令牌、草稿上限设为1令牌时，12GB版文件关闭预测头为每秒41.4令牌，开启后为50.8令牌。同条件下，8GB版文件从41.4升至49.6。两者分别提升约23%、20%。8GB版文件在代码任务中提升32%，在散文中提升6%，任务间差异较大。发布者解释，预测头用高精度模型内部状态训练，却要读取三值压缩后的主体，这是散文草稿的弱点。

4. 速度的代价是显存与上下文长度

在上述条件下，12GB版文件开启预测头后，加载后的显存用量从8,734 MiB增至10,618 MiB。8GB版文件则省略了预测装置所用令牌嵌入表的副本，即将令牌转换为数值的表，节省682 MiB。文件名并不保证在长上下文下也能装入相应容量的显存。

针对实际8GB显卡的指南是：使用Offrail-27B-8G.gguf，将上下文窗口设为49,152令牌、微批次即一次分组计算量设为256、草稿上限设为2令牌。此时加载后用量为7,732 MiB。若同一显卡还负责显示，建议上下文窗口设为32,768令牌，用量为7,300 MiB。后者未提供速度数据。

5. 应区分输出一致性与安全性

在开启示例中的批次不变性设置的测试中，两个文件启用预测头前后的输出均逐字节一致。测试条件为温度0、顶部候选1个、300令牌、3个提示词。关闭该设置后，运算顺序差异可能导致输出不同；在RTX 20系列上，该设置无法覆盖部分计算路径。这并不意味着质量与原模型相同。

拒答从100道题中原版的95次降至0次，这一数据来自基础模型制作者的小规模测试。此次构建版本本身的拒答基线、图像输入、不同上下文深度下的性能及并发运行验证均未提供。

基础模型制作者警告存在有害或不准确输出的风险，将用途限定为研究与实验，并建议避免部署为面向公众或最终用户的服务。

选择这一构建版本的关键不在于无审查的名号，而在于各类任务中的加速是否值得承担额外显存开销。