個人向けグラフィックスカードで大規模言語モデルを試す開発者に向け、回答拒否を減らした圧縮モデルに生成を高速化する予測機構を付けたビルドが公開された。速度とともにメモリ使用量も増えるため、カードの容量と処理する文章の長さに合わせて選ぶ必要がある。

1. 非検閲化と高速化機構は別物だ

ベースはOS-SoftwareのTernary Bonsai 2 27B非検閲ビルドで、そこにQwen 3.8 27Bの多トークン予測ヘッドを移植した。非検閲化はベースの作成者によるもので、今回の配布者の貢献はヘッドの移植と統合ファイル、関連ツール、中核の計算コードだ。元の開発元による公式配布版ではない。

3値圧縮は、重みを3つの値で表して保存容量を減らす方式だ。

多トークン予測は、補助機構が先の内容を書き、本体モデルが確認する方式で、承認されたドラフトを使って生成を速める。配布者によると、ベースの重みは変更せず、予測用テンソル15個、335 MiBを追加した。

2. 専用の実行版と設定が必要だ

通常のllama.cppは、このファイルの圧縮形式を読み込めない。性能測定にはPrismML系の実行版を修正したbonsai2ブランチを使い、必要な予測ヘッドの修正も含まれている。以下はモデルカードにある12GBカード向けの実行例だ。

hf download sudoingx/Offrail-27B-Uncensored Offrail-27B-12G.gguf --local-dir .
GGML_CUDA_BATCH_INVARIANT=1 llama-server -m Offrail-27B-12G.gguf \
  -ngl 99 -fa on -c 131072 -np 1 -ctk q4_0 -ctv q4_0 --jinja \
  --reasoning-effort medium --spec-type draft-mtp --spec-draft-n-max 1

モデルカードは、例のように推論の労力を中程度に設定するよう勧めている。デフォルトの最高設定では、RTX 3060で応答上限を4,096トークンとした3つのビルド作業で回答が返らなかったと説明している。

3. 同じ条件では約20%高速化した

配布者の測定条件はRTX 3060 12GB、処理スロット1つ、思考モード無効、q4_0形式のキー・バリューキャッシュ、アテンション高速化機能有効だ。キャッシュは、先に処理した内容を再利用する保存領域だ。バッチによる計算の差を減らす設定を有効にし、プロンプト3個を各3回実行して、400トークンの生成結果の中央値を求めた。

一度に扱える範囲であるコンテキストウィンドウを131,072トークン、ドラフトを最大1トークンに設定した場合、12GB用ファイルはヘッド無効時に毎秒41.4トークン、有効時に50.8トークンだった。同条件の8GB用ファイルは41.4から49.6に上がった。それぞれ約23%、20%の改善だ。8GB用ファイルの改善幅はコード32%、散文6%と、作業による差も大きかった。配布者は、高精度モデルの内部状態で学習したヘッドが3値圧縮された本体を読む点を、散文ドラフトの弱点として説明している。

4. 速度の代償はメモリとコンテキスト長だ

12GB用ファイルは上記の条件でヘッドを有効にすると、読み込み後のグラフィックスメモリ使用量が8,734 MiBから10,618 MiBに増えた。一方、8GB用ファイルは予測機構用のトークン埋め込み、つまりトークンを数値に変換する表のコピーを省き、682 MiBを節約する。ファイル名は、長いコンテキストでもその容量に収まる保証ではない。

実際の8GBカード向け案内では、Offrail-27B-8G.ggufにコンテキストウィンドウ49,152トークン、一度にまとめて計算する量であるマイクロバッチ256、ドラフト最大2トークンを適用する。このとき読み込み後の使用量は7,732 MiBだ。同じカードが画面表示も担う場合はコンテキストウィンドウ32,768トークンを推奨し、使用量は7,300 MiBとなる。後者の速度は示されていない。

5. 出力の同一性と安全性は区別すべきだ

例のバッチ不変性設定を有効にした試験では、両ファイルともヘッド使用前後の出力がバイト単位で一致した。温度0、上位候補1個、300トークン、プロンプト3個という条件での結果だ。設定を無効にすると演算順序の違いで出力が変わる可能性があり、RTX 20系では設定が一部の計算経路をカバーしない。これは元のモデルとの品質の同等性を意味しない。

拒否応答が100問中、元の95件から0件に減ったという数値は、ベースの作成者による小規模な試験のものだ。今回のビルド自体の拒否の基準値、画像入力、コンテキストの深さ別の性能、同時実行の検証は示されていない。

ベースの作成者は、有害または不正確な出力のリスクを警告し、研究・実験用に限定して、公開サービスやエンドユーザー向けサービスへの展開を避けるよう勧めている。

このビルドを選ぶ基準は、非検閲という名前よりも、追加メモリを許容できるほど作業ごとの高速化が役立つかどうかにある。