Strata 0.2.9は、ローカルでAIモデルを実行する開発者にDeepSeek向けの1ビット重み2種を新たな選択肢として提供する。一部のLinux用グラフィックスカードでは、複数のリクエストやモデルに入力する長い文章であるプロンプトを高速に処理する設定をデフォルトで適用し、個別の調整を減らしつつ処理量を高められるようにした。
1. 1ビット重みはデフォルトモデルを変えない選択肢
インストール手順と実行コマンドでUnslothのUD-IQ1_SとUD-IQ1_Mを選べる。重みはモデルが使う数値データで、ダウンロード容量はそれぞれ241GBと258GBだ。ISTAのEngramファイルをすでに持っていればダウンロード量は約111GB減り、従来のデフォルトモデルは維持される。
開発陣の発表によると、61件のタスク試験で2つの1ビットセットはそれぞれ53件、従来の比較対象は56件に合格した。比較対象はISTA-DAS 2.25で、タスクのうち35件は1万4000～3万トークンの文書を使った。各セットを1回ずつ測定し、トークンごとに計算に参加するエキスパートモジュール、つまり特定の入力を担当するモデル構成要素の数は6個だった。
タスク別に見ると、小さいセットは要約で8件中8件に合格し、従来セットの7件を上回ったが、情報抽出では13件中11件で、従来セットの13件を下回った。そのため、全体の合格数と実際に任せるタスクを併せて見ると選択の参考になる。
2. モデル速度はカード構成と併せて読む必要がある
開発陣は小さいセットと従来の比較セットをRadeon AI PRO R9700の4枚構成で試験した。大きいセットはRTX A6000の2枚構成で試験した。同じ1ビットの選択肢でも、測定に使った機器は異なる。
開発陣の発表によると、UD-IQ1_SはR9700の4枚構成で毎秒48～88トークンを生成し、4Kプロンプトを毎秒1,204～1,296トークン処理した。UD-IQ1_MはA6000の2枚構成で毎秒41～82トークンを生成した。これらは開発陣独自の試験文書で1回ずつ実行した結果だ。
利点とコストは選択肢によって異なる。既存ファイルの再利用でダウンロードの負担は減らせるが、タスク合格数は従来の比較セットより少なかった。並列処理もIntel Arc Pro B65の2枚構成では、同時リクエスト8件の処理量を毎秒42.1トークンから53.8トークンに高めた一方、リクエストをまとめて処理するバッチサーバーの単一リクエスト生成は2.7%遅くなった。
3. Linuxの並列リクエストは利用者が有効にした後で自動調整する
LinuxのNVIDIA環境では同時リクエスト数を2以上に指定すると、サーバーが並列処理に関する9個の設定を自動適用する。利用者が直接指定した環境変数や設定値が優先されるため、従来の調整値を維持しながら新しいデフォルト動作を使える。
開発陣の発表によると、RTX PRO 5000の1枚構成でQwen3.8 IQ3_Sに1,000トークンのプロンプトと128トークンの出力を要求し、8件のリクエストを同時処理した際は、旧バージョンより1.45倍速かった。旧バージョンは0.2.8で、条件を合わせて3回行ったペア比較の速度比は1.451～1.459だった。
同じ試験では単一リクエストも5.3%速くなり、最も可能性の高い出力を選ぶ方式で確認した12件のプロンプトへの回答は従来と同じだった。複数のリクエストを受けるサーバーだけでなく、1件ずつ要求する利用者の結果も併せて示した形だ。
4. プロンプト処理も対応カードではデフォルトで高速化した
LinuxのNVIDIA環境のQwen3.8は、プロンプト計算をグラフィックスカードの複数の数値を一度に計算する行列演算装置で処理する。開発陣の発表によると、RTX PRO 5000では4Kプロンプトが4.4%、長いプロンプトが5.5～5.7%速くなった。RTX A4000では16Kが2.6%、32Kが3.2%速くなった。
LinuxでRadeonカードがすべてgfx12系の構成では、プロンプトを分割処理するカーネル、つまりグラフィックスカードの演算を行うプログラムを64トークンから使う。開発陣が発表した長さ別の改善幅は以下のとおりで、生成速度は変わらなかった。
表：Linuxのgfx12 Radeonにおけるプロンプト処理改善率
条件：Linux、Radeonカードがすべてgfx12系、分割処理カーネルを64トークンから適用
単位：%
| プロンプトの長さ | 速度改善率 |
|---|---|
| 4K | 3.5 |
| 16K | 4.7 |
| 32K | 6.1 |
同じ発表で、1K～3Kプロンプトの改善幅は1.7～3.2%だった。この変更の効果は、回答の生成自体よりも入力文書を読む段階に集中している。
5. 複数のAMDカードの活用は次回の実行から変わる
Linuxで複数のAMDカードを使ってDeepSeekを実行する場合、カードを個別に指定しなければエンジンが対応カードを活用する。インストール時に1枚を選んで保存した構成も次回の実行から複数のカードを使い、再ビルドは不要だ。1枚だけ使う場合は原文の次のコマンドで指定でき、選択は保存される。
strata launch --gpu N開発陣によるR9700の4枚構成の試験では、グラフィックスカードに載せたエキスパートモジュールが15,360個中2,371個から12,147個に増えた。トークン当たりの参加モジュール数も6個から実行プログラムが選んだ5個に変わり、複数カードのメモリを併用する変更が実行構成にも反映された。
DeepSeekは温度0でも繰り返し回答が変わることがある。これを抑えるため、モジュールの再利用に向けて一時保存するエキスパートキャッシュを無効にした試験では、生成速度がR9700の4枚構成で8～10%、1枚構成で58%低下した。
Strata 0.2.9の要点はモデルと処理方式の選択肢を広げたことにあり、導入の判断はタスク別の品質と実際のカード・同時リクエスト条件に合わせるのがよい。