Strataは新バージョンでGPUとMac向けのモデル実行エンジンを独自コードに置き換え、一部のAppleシリコンでの誤った計算を修正した。ローカルモデルを使う開発者は更新で新エンジンを入手でき、既存のモデルや会話、設定は維持される。

1. 外部の計算カーネルを取り除いた新エンジン

アプリとターミナルは0.2.16、プラットフォーム別のエンジンとインストール・更新プログラムは0.1.62だ。新エンジンは外部の行列計算コードの代わりに独自コードを使う。

画像を読み取る機能も独自実装に変更した。Strataの発表によると、NVIDIA向けの画像読み取り用ファイルは53,864,888バイトから807,976バイトに縮小した。

Strataは会話・コード・ツール呼び出し・長い入力・中国語・ドイツ語・画像を含む10個のプロンプトで、旧エンジンと出力トークンを比較した。Strataの試験では、Tesla P100とRadeon R9700はそれぞれ10個すべてでトークンが一致した。

MacのM5 Maxも10個すべてでトークンが一致したとStrataは述べた。これは実行コードの変更後、その試験で回答を維持できたかを示す結果だ。

Strataの試験では、RTX PRO 5000とArc A750はそれぞれ比較した9個すべてでトークンが一致した。ただしWindowsのCUDA 12エンジンは、専用コードが追加されたRTX 5070で10個中2個の回答が異なったとStrataは述べた。

長い入力の性能について、Strataの発表ではTesla V100の26,000トークンのプロンプト処理時間が旧エンジンの17,464ミリ秒から15,068ミリ秒に短縮した。エンジン0.1.58比で処理時間が約13.7%減り、同じ長さの入力をより短時間で処理した。

同じ発表では、RTX 2080 Tiの26,000トークン処理の相対速度は、基準エンジン0.1.58比で前回リリースの0.885から今回の1.088に上昇した。前回リリース0.2.15より速度が約22.9%高くなったもので、V100の時間削減率とは異なる指標だ。

表:長い入力の処理性能の前後比較

条件:Strataの発表に基づく、26,000トークン入力、V100はエンジン0.1.58と比較、RTX 2080 Tiは0.1.58比の相対速度をリリース間で比較

単位:V100はミリ秒、RTX 2080 Tiは相対速度(無次元)

外部の計算カーネルを取り除いた新エンジン
機器以前の比較対象以前今回
Tesla V100エンジン 0.1.5817,46415,068
RTX 2080 Tiリリース 0.2.150.8851.088

チャート:Tesla V100の処理時間 条件:Strataの発表に基づく、26,000トークン入力、低いほど処理時間が短い 単位:ミリ秒

xychart-beta
    x-axis ["Engine 0.1.58", "Current"]
    y-axis "Processing time (milliseconds)" 0 --> 18000
    bar [17464, 15068]

チャート:RTX 2080 Tiの相対速度 条件:Strataの発表に基づく、26,000トークン入力、エンジン0.1.58比の相対速度、高いほど速い 単位:相対速度(無次元)

xychart-beta
    x-axis ["Release 0.2.15", "Current"]
    y-axis "Relative speed" 0 --> 1.2
    bar [0.885, 1.088]

2. M1~M4で誤って計算していた層を修正

前バージョンはUD-Q4_K_XLモデルという重みを低精度で保存する形式のモデルを実行する際、一部の層で列の4分の1しか計算せず、測定したある層では640列中160列しか計算していなかった。回答が自然なため、短い応答では気づきにくい不具合だった。

修正対象はM1~M4で、M5は影響を受けなかったとStrataは述べた。

StrataはM5 Maxに旧計算カーネル(計算を行う低水準コード)を強制適用して修正効果を測定した。KLは2つの予測確率分布の差を表す値だ。ここでは最初のトークンの予測確率が、同じ機器の標準実行経路にどれほど近いかを示す。

表:旧Mac計算経路の修正効果

条件:Strataの発表に基づく、M5 Maxで旧カーネルを強制適用、512~8,192トークンのプロンプト6個、同じ機器の標準経路と比較

単位:KL差は無次元、最上位トークンの不一致はプロンプト数(個)

M1~M4で誤って計算していた層を修正
項目修正前修正後
最初のトークンのKL差0.3030.0068
最上位トークンの不一致31

同じ条件で予測確率の差と、最も確率の高いトークンが異なったプロンプト数がともに減った。見かけ上自然な回答よりも、計算結果を直接照合する試験が重要だった事例だ。

Macアプリとエンジンの最低対応OSはmacOS 15.0に変わった。以前の公開ファイルはmacOS 27.2を要求していた。

UD-IQ1_Mモデルでの意味のない文字出力も修正した。

Strataの発表によると、4ラウンドにわたるリクエスト間のMetal(Appleのグラフィックス・演算技術)メモリ増加量は16.9GBから0.23GBに減った。

3. 起動失敗とメモリ不足による終了を緩和

Windowsではシステム情報の照会権限がない一部のアカウントで、起動から約5秒後に終了する問題を修正した。Strix Haloでは修正前に3回すべて失敗した起動試験が、修正後はチャット・ツール呼び出し・画像を処理する実行で73秒で応答したとStrataは述べた。

標準のPowerShellでstrataコマンドが実行できなかった問題も修正した。

Ubuntuのメモリ保護機能が大きなモデルの読み込み中に実行を終了させる問題には、モデルの以前のファイルコピーが占めるメモリを先に解放し、不足時にはエンジンを一時停止する措置を適用した。

Strataの発表によると、メモリ62GiBのTesla P100 PCで他のプログラムも開くと、修正前は5回すべて失敗したが、修正後は7回中6回成功した。他のプログラムが12GiBを使う条件では4回中3回成功した。

準備時間も短縮した。Strataの発表によると、RTX 5070 PCでのアプリの初回システム確認は23秒から約2秒に短縮した。

NVIDIA BlackwellではCUDA 12エンジンの最初の応答が173.0秒から0.34秒に短縮したとStrataは述べた。

4. メモリの余裕と機器別の試験範囲を確認

WindowsではStrix Haloやページファイル(ディスクをメモリのように使う領域)が小さいPCで、メモリとページファイルの合計上限に達するとエンジンが通知なく終了する可能性があり、Ubuntu系も空きメモリが少ないとモデルの読み込みが終了する場合がある。旧Appleシリコンの実機や一部のプラットフォーム変更は未試験だ。

5. 新エンジンを入手し、既存データは維持

独自コードへの移行とは別に動作安定性の問題も修正した。更新時はプラットフォーム別の新エンジンをダウンロードする必要がある。LinuxのTesla P100向けインストールは、自分でコンパイルする方式から完成済みエンジンのダウンロードに変わり、ローカルビルドの負担を軽減した。

一般のターミナル利用者は次のコマンドで更新する。Windowsで旧バージョンの起動時クラッシュを経験し、エンジンが更新されていない場合は、同じコマンドをもう一度実行するよう案内している。

strata update

アプリ利用者は内部の更新機能か新しいインストールファイルを使う。リポジトリのクローンからビルドする開発者は、エンジンのパスがengine/に移った点を反映する必要がある。

Strata 0.2.16の要点は、独自エンジンへの移行と計算ミスの修正によってローカル実行の基盤を固めることにある。