Boole-1.7B：1ビット保存のGGUFは292.1MB、BF16比で平均8.28点低下

1. 重みデータとダウンロードファイルは異なる

Precision Numericsは2026年10月11日にBoole-1.7Bを公開した。Qwen3-1.7Bを基に作られ、英語で回答を生成し、別途用意された思考モードをオフにする用途を対象とする。

発表文の重みデータは247.0MBで、16ビット浮動小数点形式のBF16原本の3,441.1MBより13.9倍小さい。1ビットとは各重みの正負の符号を残すという意味で、大きさは複数の重みが共有する倍率で補う。この倍率も保存容量を使う。

この容量はヘッダー、メタデータ、トークナイザーを除いた重みデータの値だ。実際のsafetensorsファイルは247.1MBで、CPUでも実行できるGGUFファイルは292.1MBとなる。前者は入力を数値に変換する埋め込み行列と出力を計算する行列の符号ビットを共有するが、後者は両行列を別々に保存するためだ。

2. 平均の低下は能力ごとに一様ではない

同社の評価は10課題を同じ重みで扱い、例示をせず思考モードをオフにした条件だ。基本は最も確率の高い回答を選ぶ生成方式となる。例外のGPQA-Diamondは回答のランダム性を調整する温度を0.6、候補を絞る累積確率の基準を0.95に設定し、10回生成した平均を使う。

平均は原本の58.83から50.55へと8.28点下がった。発表文の85.9%は両平均の比率であり、任意の質問にその割合で正答することや、各能力を同じ割合で維持することを意味しない。

同じ評価の数学課題MATH-500は74.20から49.80に下がった。一方、指示追従課題のIFBenchは17.67から18.25へと小幅に上がった。平均の低下だけでは個別作業の損失を推定しにくい理由だ。

同じ会社が同じ評価体系で比較したBonsai-1.7Bは242.4MBで平均44.97だった。Ternary-Bonsai-1.7Bは重みが約457MBで51.57となり、今回のモデルより約1.9倍大きい代わりに平均が1.02点高かった。各開発元が別途公表した、課題構成の異なるスコアと混ぜて比較することはできない。

Precision Numericsの評価だ。平均は10課題の等重み平均で、保存サイズはファイルヘッダー・メタデータ・トークナイザーを除き、量子化スケールを含む重みデータである。実行時メモリとレイテンシは測定していない。

3. 実行は選んだ形式に合わせる

サンプルリポジトリはPython 3.10以上を要求する。ダウンロードツールを用意した環境で実行する次のコードは、原文のCUDA GPU向けの例で、コンテキスト長を4,096トークンに設定し、思考モードをオフにする。

git clone https://github.com/PrecisionNumerics/boole-demo.git && cd boole-demo
hf download precision-numerics/Boole-1.7B-GGUF Boole-1.7B-Q1_0.gguf --local-dir model
bash scripts/setup_llama_cpp.sh
third_party/llama.cpp/build/bin/llama-server \
    -m model/Boole-1.7B-Q1_0.gguf -ngl 99 -c 4096 \
    --reasoning off

GGUFはllama.cppでCPUまたは対応GPU上で実行する。CPUのみで実行する場合は、原文の案内どおりGPU対応をオフにしてビルドし、サーバーがGPUに渡す層数を0に指定する。

4. 保存容量の節約と実行効率は区別すべきだ

利点は保存容量の節約で、確認された代償は評価品質の低下だ。別のGPU実行経路であるvLLMとHummingの実行例は16ビットのデータ型を要求するため、1ビット保存を推論全体の1ビット演算と解釈してはならない。

実行中の最大メモリ、最初のトークンまでの時間、生成速度の測定値は示されていない。そのため、小さなファイルだけで低メモリ・高速実行を保証することはできない。採用前には、対象機器で実際のコンテキスト長に応じたリソース使用量と、必要な作業の信頼性を別々に測る必要がある。

Boole-1.7Bは保存容量が制約となる場合の検討候補だが、原本比で平均8.28点の損失を許容するかは、実際の作業で判断すべきだ。