言語モデルをローカルで動かすユーザー向けに、Strata 0.2.12が公開された。一部のグラフィックスカードやMacで長い入力を読み込む速度を高め、外部ツールを呼び出すリクエストの処理エラーを修正した。12GBクラスのグラフィックスカードでは入力待ちを減らせるほか、ツールを連携させる開発者は、複数のツールから一つを指定するリクエストをより安定して処理できるようになった。

1. 次の単語を先読みする補助モデルを調整

中心となるのは、主モデルが出す次の単語を予測して出力を助けるDFlash2ドラフターの独自調整版だ。

自動モードでこれを選択する範囲を、Mac、Strix Halo、Intel Arc Aシリーズ、一部のNVIDIAカードなどに広げた。Macでは、対応する二つの量子化モデル、つまり容量を減らして保存したモデルで、この補助モデルが標準で選ばれる。

12GBクラスのNVIDIAカードでは、UD-IQ4_XS-v31に調整版を自動適用する。Linuxでは、エンジンが使用中のメモリを空き領域と誤認していた問題も修正し、より遅いファイルキャッシュ経路への切り替えを減らした。入力高速化には、補助モデルの選択だけでなく、このメモリ処理の変更も含まれる。

2. 12GBカードでは、一定時間に処理する量を示す入力スループットが約3倍に増加

開発陣は各機器で、旧版の0.2.11と新しい候補版を2~3回比較した。実行ごとにエンジンを再起動して順序を変え、毎回最も確率が高いトークンを選ぶ方式で300トークンの回答を生成した。各バージョンが機器に合わせて保存する設定を使い、新しい補助モデルの選択も反映した。

開発陣の発表によると、RTX 3060 12GBでUD-IQ4_XS-v31の2K入力スループットは毎秒87トークンから264トークンに増えた。同じ組み合わせの32K入力は毎秒361トークンから981トークンに増加した。短い入力だけでなく、長い入力でも読み込み待ち時間を減らす方向の変化だ。

Windows用のStrix Haloでは、開発陣の発表によると、UD-Q4_K_XLの4K入力が毎秒597トークンから1,267トークンに増えた。この環境では、UD-Q4_K_XLとUD-IQ4_XS-v31のQ5_0レイヤーで使われる融合プロンプトカーネルと、デコードカーネルをまとめて処理する方式という二つの最適化が有効になっている。

Mac M5 Maxでは、開発陣の発表によると、UD-Q4_K_XLの4K入力が毎秒1,406トークンから1,605トークンに増加した。同モデルの出力速度は、試験した作業の種類を、比率の変化を反映する平均である幾何平均でまとめると12.7%向上した。Macの入力処理経路は、CPUの作業とグラフィックス演算が重なって進むように変更された。

3. 複数のツールから一つを指定するリクエストを修正

複数のツールを宣言した状態で特定のツール選択を強制するテストは、開発陣の発表によると、旧版の24回中0回成功から24回中24回成功に変わった。ツールを使うよう指定しても実行につながらなかったリクエストの処理に直接関わる修正だ。

Claude Desktopが渡すモデル名は、現在読み込んでいるモデルに対応付けるよう修正した。

ツール呼び出しの開始タグも、より多様な形式を読み取る。外部ツール接続規約であるMCPのツール名は、末尾だけが示されても、その末尾に一致するツールが一つだけなら対応付ける。

Anthropic形式のツール結果は、ツール呼び出しを区別する値である呼び出し識別子に従い、元のリクエストと対応付ける。

宣言されていないツール呼び出しは原則として文章で返すが、ユーザーが呼び出し形式で受け取ることも選べるようにした。

4. 出力性能の向上と低下は作業によって分かれた

開発陣が発表した、RTX 3060 12GBとUD-IQ4_XS-v31での作業別の出力変化は次の通りだ。コード生成や、ツールを選んで作業を行うプログラムであるエージェントを多用するユーザーには、入力処理だけでなく出力でも効果が見られた。

表：同じカード・モデルでの作業別の出力速度変化

条件：RTX 3060 12GB、UD-IQ4_XS-v31、0.2.11と0.2.12候補版の比較、2~3回実行、実行ごとにエンジン再起動・バージョンの実行順序を交代、最高確率のトークン選択で300トークン生成、バージョン別の機器設定を適用

単位：%

出力性能の向上と低下は作業によって分かれた
作業出力速度の変化
コード生成+37
エージェント+34
JSON抽出-18.9

Strix HaloのUD-IQ4_XS-v31によるツール呼び出しは、開発陣の発表によると9.5%遅くなった。開発陣は、調整された補助モデルがこの性能低下の原因だと測定結果を説明した。

この性能比較は最終エンジンパッケージで再測定した値ではなく、新しい候補版の結果だ。その後のエンジンソースの変更は、バージョン番号と旧型NVIDIAカード向けビルド修正の二件に限られた。

5. アプリやターミナルから更新する

アプリ内で更新するか、ターミナルで次のコマンドを実行すればよい。アプリとターミナルのバージョンは0.2.12で、コントロールとエンジンのパッケージは0.1.58だ。

strata update

調整版は、自動モードが初めて必要としたときに一度ダウンロードする。自動選択で手動設定の手間を減らす代わりに、通常のファイルは0.34GB、Intel Arc用は0.52GBの追加ダウンロードが発生する。インターネット接続がなければ標準の補助モデルか従来の予測方式で動作し、従来の予測方式を手動で選べば調整版はダウンロードしない。

Strata 0.2.12は入力待ちとツール接続を改善する更新であり、導入判断の基準は最高速度よりも、よく使う作業での性能変化だ。