NVIDIAは、画面を読み取りツールを呼び出すAIを個人のデバイスで動かしたい開発者向けに、2ビットの視覚言語モデルを公開した。メモリを節約し、他のプログラムと併せて実行することを目指す。

1. 何をローカルで処理するのか

2026年10月15日に公開されたBoltは、テキスト・画像・動画を受け取り、テキストを出力する。

総パラメータ数は740億で、そのうち90億を有効にして計算する混合エキスパート構造だ。毎回すべての部分を計算するのではなく、必要な部分を選んで使う。

主な用途は、ウェブ閲覧、ターミナル操作、ツール呼び出しをつなぐローカルエージェントだ。モデルがツールの実行を要求し、アプリケーションが実行して結果を返す構造なので、モデルの配備だけで作業の自動化が完成するわけではない。

OpenMDW-1.1ライセンスに従い、商用・非商用で利用できる。

2. 小型モデルの代わりに大規模モデルを圧縮

1200億パラメータの上位視覚言語モデルをStar Elasticで縮小した。これはメモリ予算に合わせ、層ごとのエキスパート数と内部の幅を選ぶ圧縮手法だ。その後、低精度で生じる誤差を学習中に補正する量子化を考慮した蒸留を適用した。エキスパートの重みはIQ2_XXSで要素当たり2.0625ビットに格納し、一部の層はより高い精度を残した。

測定対象の機器では、メモリから重みを読み出す帯域幅が主に実行速度を制限する。構造の圧縮と低精度での格納により重みのメモリ使用量を減らすと、読み出すデータも減り、推論の高速化に役立つ。

利点は、大規模モデルの能力を限られたメモリに収めることだ。一方、単なるファイル変換にとどまらず、圧縮後に視覚理解とエージェント能力を回復させる追加学習が必要だった。NVIDIAは、同じメモリ予算で小型モデルを一から学習して4ビットに縮小する方式より有利だったと説明する。

モデルカードのターミナル作業評価のスコアは、Boltが50.98、Qwen3.6が44.38だ。ただし、一部の知識の正確性やハルシネーション抑制の項目ではBoltがQwenを下回り、このエージェント評価での優位性を正確性全般に一般化することはできない。

3. 実行例は準備段階から確認する

モデルカードが指定するvLLMの最小バージョンのコンテナとカーネルの準備例は次の通りだ。サーバー起動コマンドの全体は原文のクイックスタート節にあり、以下のコードはそのコマンドの代わりにはならない。

docker run -it --name vllm --gpus all --ipc=host -p 8000:8000 \
  --entrypoint /bin/bash \
  vllm/vllm-openai:nightly-77154ca6116ae34cbfe314beef1016bde9b63989

pip install b12x
vllm download-kernels

24GBというモデルサイズと、実行に実際に必要なメモリは区別すべきだ。最大コンテキストは256Kトークンだ。質問・画像・会話履歴・ツールの結果・生成する回答がこの領域を共有し、配備時には利用可能なメモリと同時リクエスト数に合わせて縮小できる。メモリ予算を狙った構造探索の条件はリクエスト1件と128Kコンテキストなので、24GBで最大コンテキストまで保証するという意味ではない。

思考推論は有効にも無効にもできる。思考過程と最終回答は同じ出力トークン予算を分け合うため、回答が長さ制限で途切れる場合は出力予算も確認すべきだ。

4. 速度の数値は実行条件と併せて読む

技術ブログの速度測定では、すべてのモデルに同じメモリ128GBの機器を使用した。

コーディングのスループットは、AIPerf SPEED-Bench-Codingで入力長を制御して測定した。AA-AgentPerf Localは複数のエージェント作業経路全体の再生時間を測った。前者は高いほど、後者は短いほど有利な指標だ。

このモデルにIQ2_XXS量子化とLiLiCorrドラフトモデルを適用した結果は、コーディングのスループットが毎秒83.99トークン、作業経路の再生時間が600.80秒だ。ドラフトモデルは、次のトークン候補を先に提案して推論を高速化する補助モデルだ。

代表的な基準モデルのQwen3.6は、同じ2指標で毎秒96.63トークンと453.97秒を記録した。Gemma 4も毎秒100.56トークンと480.68秒で、この機器・実行条件ではBoltが2つの小型エキスパートモデルよりスループットが低く、再生時間も長かった。

一方、Qwen3.8の毎秒28.26トークンと1043.28秒よりは速かった。

比較条件の確認：正確性の評価名はTerminal-Bench 2.1で、比較対象はNVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB(IQ2)と、16ビット数値形式のBF16のQwen3.6-35B-A3Bだ。この正確性の比較は、低精度での速度測定と同じ条件ではない。

実行条件の確認：速度はRTX Spark(Surface Laptop Ultra, 128GB)で、llama.cppとWindows 11 ARM x64を使って測定した。比較モデルのQwen3.6 35B-A3B、Gemma 4 26B-A4B、Qwen3.8 27BはすべてUD-Q4_K_M量子化を使用した。前の2モデルには推論高速化手法のMTPを、最後のモデルには推論高速化手法のDFlashを適用した。量子化と高速化手法が異なるため、この結果をモデル自体の優劣と解釈してはならない。

5. 配備前にサポート範囲を確認する

モデルカードの概要は、A100やH100-80GBなども配備対象に挙げている。

一方、ソフトウェア統合の節はBlackwell SM120・SM121とLinuxを明記している。サポート範囲の表記が一致しないため、実際の対象機器の実行レシピを確認する必要がある。

Boltはターミナル作業のエージェント評価でQwen3.6より高いスコアを示したが、別の速度実験では2つの小型エキスパートモデルより遅かったため、選択時には特定のエージェント作業の評価結果と応答速度を併せて見るべきだ。