Unslothが新たな大規模AIモデルの手元のコンピューターでの実行に対応し、コーディング支援ツールが過去の会話を再計算する負担を減らした。ローカルモデルで開発作業を自動化したい人には選択肢が増えたが、必要なメモリと実際の応答待ち時間は別々に確認する必要がある。

1. ローカルで実行できるモデルが増えた

2026年10月15日に公開されたUnsloth v0.1.908-betaは、NVIDIAとMetaの新モデルに対応する。単なるモデル追加にとどまらず、コーディングエージェントが繰り返しのリクエストを処理する方法も改善したリリースだ。

Nemotron 3.5 Boltは、モデルを構成する数値であるパラメータ740億個のうち、90億個が計算に参加するモデルだ。テキスト・画像・動画の入力とツール呼び出しに対応し、一度に扱えるコンテキストは最大128Kトークンだ。トークンはモデルが文章を処理する単位を指す。

元のモデルであるNemotron 3.5 Super VLは、文書理解やコンピューター操作、長時間稼働するエージェントを対象とする。リリースノートでは、入力100KトークンでInkling Smallと同程度の知能を維持しつつ、生成が約5倍速いと説明している。

MetaのMuse Spark Openはテキスト・画像・動画・音声を入力として受け付ける。全パラメータ8160億個のうち約427億個を有効にし、2ビット量子化では約256GBのメモリが必要と案内している。量子化は、モデルの数値を少ないビット数で保存する方法だ。

2. キャッシュは過去の会話の計算を再利用する

プロンプトキャッシュは、処理済みの会話の計算結果を保存し、次のリクエストで再利用する機能だ。リリースノートによると、Claude CodeをローカルのGGUFモデルに接続する際、後続の会話の再処理が減る。ここでのGGUFはローカル実行用のモデルファイル形式だ。

修正一覧には、会話の途中に挿入されたAnthropicのシステムメッセージ、つまりモデルへの指示の位置を維持し、新しいセッションでもキャッシュを再利用する変更が含まれる。Messages APIとResponses APIでは、キャッシュヒット、つまり保存済みの計算を再利用したかどうかも報告するようにした。

新しいClaude Codeセッションで最初の応答が始まるまでの時間は、最大4倍速くなるとしている。これは応答全体の生成速度が4倍になるという意味ではない。先に紹介した生成速度と、この応答開始の数値の測定機材・詳しい比較条件、後続の会話の再処理の削減率は示されていない。そのため、この数値をほかのコーディングツールのあらゆるリクエストに当てはめてはならない。

3. アプリから始めるかAPIで接続する

Boltの公式ガイドは、Unsloth Desktopでモデルを検索し、希望する量子化ファイルをダウンロードして会話する手順を示している。推論設定は自動構成され、コンテキスト長は4Kトークンから始め、メモリが許す範囲で最大128Kトークンまで増やすことを勧めている。

ほかのアプリケーションに接続する場合は、次の原文の例でAPIサーバーを起動できる。コンテキスト長4096と同時処理数1を指定し、同じコンピューターから接続するアドレスとポートを設定した例だ。

unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
    --host 127.0.0.1 --port 8001

4. 実行可能な容量とメモリの余裕は異なる

Boltの2ビットファイルはダウンロードサイズが22GBで、ガイドの最小メモリ推定値は短いコンテキストで24~32GBだ。リリース概要の24GBだけを見るのではなく、本文とガイドが案内する約32GBを基準に準備する必要がある。48~64GBは、より余裕のある構成として示されている。

小さなファイルでローカル実行を始めやすくなる一方、長いコンテキストや画像・動画の入力には、計算を保存するキャッシュと視覚入力を接続する変換器のための追加メモリが必要になる。Boltは出力高速化用の補助モデルも標準で使用するため約1~2GBを追加で必要とするが、リリースノートによると設定で無効にできる。

今回のリリースはローカルモデルの選択肢と会話の計算の再利用をともに改善したが、導入の判断は最小容量よりも、作業に合ったメモリの余裕と応答開始までの遅延を基準にすべきだ。