人工知能モデルを自分のコンピューターで実行するユーザー向けのStrataが、新しいモデルファイルへの対応と複数グラフィックスカードでの実行改善を含む更新を公開した。モデルを小さく保存する量子化ファイルをアプリで選べるほか、一部のカード構成ではモデルの計算を分担する新方式を自動で利用できる。
1. 新しい量子化7種類をアプリとターミナルで使う
今回のバージョンは、Unslothが11月4日に再公開したDynamic v3.1量子化ファイル7種類に対応する。対象モデルはQwen3.8-Flash-Nextで、アプリやターミナルからダウンロードして準備・実行するほか、直接入手したファイルも読み込める。
セットごとのダウンロードサイズは以下のとおり。ファイルは指定リビジョンのサイズと、ファイル内容を要約した値であるSHA-256で確認する。
表：新たに対応する量子化セットのダウンロードサイズ
条件：UnslothのQwen3.8-Flash-Next、リビジョンd9620119、セットごとの全ダウンロードファイル
単位：ダウンロードサイズはGB
| セット | ダウンロードサイズ | ファイル数 |
|---|---|---|
| UD-IQ1_M | 68.0 | 3 |
| UD-Q2_0 | 70.6 | 3 |
| UD-IQ2_XS | 75.8 | 3 |
| UD-Q2_K_XL | 79.6 | 4 |
| UD-IQ3_XXS | 83.6 | 4 |
| UD-Q3_K_XL | 89.5 | 4 |
| UD-IQ4_XS-v31 | 93.7 | 4 |
各セットの最後のファイルは、モデルがトークンごとに読む28.8GBのテーブルだ。新しいUD-IQ4_XS-v31は、既存のUD-IQ4_XSとファイル構成や多次元数値配列であるテンソルの種類が異なるため、別途提供される。既存セットも維持される。
ターミナルでは、以下のコマンドのモデル名の位置に希望するセットを指定する。
strata launch --family unsloth --model <name>2. Radeon 4枚でモデルの各層を共同計算する
LinuxでRadeon AI PRO R9700を4枚使ってIQ3_S系を実行すると、自動選択で新しい分割エンジンが選ばれる。層単位の分割がカードごとに異なる層を割り当てるのに対し、このエンジンは各層の計算を全カードに分担させる。2枚と3枚の構成は、従来の層単位の分割を維持する。
開発チームの発表では、同じカード4枚とUD-Q4_K_XLで、8人同時利用時の合計回答生成速度が0.2.10パッケージ比で32.7%向上した。従来の2つの測定値は毎秒276.3・263.3トークン、新エンジンは358.4・357.4トークンだった。1人利用では6.9%、約103Kトークンのプロンプト、つまりモデルへ送る入力文2つの処理時間では8.1%改善した。
この比較は、従来のパッケージと、そのパッケージのエンジンファイルを置き換えた構成を交互に実行した2組の試験で、実行ごとに1回起動した。新エンジンは、同時リクエストを処理する枠であるリクエストスロットの既定数を6から8へ増やし、カード間の合算処理も変更した。
3. NVIDIAは量子化したまま入力を計算する
NVIDIAの演算能力、つまりGPU命令の対応水準が8.0以上の場合、Unsloth UD-Q4/Q5/Q6_K_XLファイルにはK量子化用の整数演算カーネルが標準適用される。これはGPUの計算を実行するプログラムだ。従来のように、モデルが学習した計算用数値である重みを16ビット数に変換して計算する代わりに、圧縮された重み向けの演算を使う。
RTX PRO 6000の測定では、入力処理速度が以下のように向上した。次の単語を先に推測して検査を助けるMTPを有効にし、モデルの特化した計算部分であるエキスパートをすべてカードに載せた条件だ。
表：RTX PRO 6000のプロンプト処理速度
条件：RTX PRO 6000(sm_120)、UD-Q4_K_XL、全エキスパートがカードに常駐、MTP、コンテキスト131072、各セルはリクエスト4回の中央値、2ラウンド交互実行、ラウンドごとに各経路のエンジンを新規起動
単位：トークン/秒
| プロンプト長 | 従来の経路 | 新しい経路 |
|---|---|---|
| 4K | 2,338 | 3,097 |
| 8K | 3,389 | 4,241 |
| 20K | 3,386 | 4,573 |
| 32K | 3,709 | 4,886 |
32K入力の向上幅は、開発チームの発表では32.6%だ。回答生成速度は、このカーネル変更では変わらなかった。入力を読む段階の改善なので、ユーザーが期待できる変化も、長い質問を送ってから回答が始まるまでの処理にある。
4. 少ないグラフィックスメモリで起動できる一方、長い入力は遅い
メモリの余裕が少ない複数のNVIDIAカードを使う層単位の分割では、メモリが足りないと、カード上の重みや補助モデルなどを段階的に減らして起動する。この過程でも、モデルが参照する入力長の上限としてユーザーが指定したコンテキストサイズは縮小しない。
開発チームは、実際の小型カードの代わりに、RTX PRO 6000を2枚使い、空きメモリをそれぞれ8GBに制限して試験した。LinuxでQwen3.8 IQ3_S、128Kコンテキスト、トークン間の関係を記録するアテンション状態の8ビット保存、自動推測モデル選択を使った。以前のバージョンの製品実行は6回とも失敗したが、新方式は起動し、エンジン試験で32K入力を14.5秒で処理した。
利点は少ないグラフィックスメモリでも実行を開始できることで、代償は長い入力の処理時間だ。開発チームが示した小型カード構成の入力速度は毎秒1000~2200トークンで、大型カード構成の6000~7000トークンより低かった。小型カード向けの入力処理経路は、まだカード1枚しか活用しない。
5. 更新後は入力処理と応答の変化を併せて確認する
アプリでは内蔵の更新機能か新しいインストールファイルを利用する。ターミナルの更新コマンドは制御コンポーネントとエンジンを一緒に更新し、以前のエンジンも復元用に残す。
上記の性能値は、主にリリースソースに基づくビルドと、エンジンファイルを置き換えたパッケージで測定したもので、正式なエンジンパッケージで再測定した結果ではない。開発チームは、カーネルや入力バッチサイズによる丸めの違いで、一部のエージェントの質問への最初の回答が変わる可能性も告知した。
Strata 0.2.11の要点は、新しい量子化ファイルを手軽に実行し、カード構成をより幅広く活用しつつ、入力処理の改善を回答生成速度と分けて確認することにある。