Unslothが新たな軽量言語モデルファイルを公開し、旧型グラフィックスカードでの回答生成と画像モデルの実行を改善した。同社によると、既存のNVIDIAグラフィックスカードを使う開発者は画像モデルの選択肢が広がり、標準設定でも回答をより速く生成できる。

1. Qwen3.8-27B GGUFをローカルで実行

11月11日に公開された今回のバージョンは、Qwen3.8-27Bを圧縮モデルファイル形式のGGUFで提供する。配布形式はDynamic v3.1で、Unslothでローカル実行できると案内している。

GGUFを計算に使えるよう展開する逆量子化も改良した。復元結果をllama.cppとビット単位で一致させ、計算用データ型、つまり計算値を表す数値形式への丸めを1回だけ行うようにした。

Studioの画像生成経路では、少ないビット数で値を保存する低ビットGGUFの読み込み対応範囲も広がった。新たな言語モデルファイルの公開とは別に、既存の画像モデルファイルを読み込んで計算する経路も整備したリリースだ。

2. T4でのモデル生成は標準で2~8倍高速に

FastModel系は回答生成段階にCUDAグラフを標準適用した。繰り返す計算の流れを事前にまとめて再利用する方式だ。同社発表ではT4の生成速度は2~8倍に向上し、出力トークンも従来の実行方式と同じだとリリースノートは説明している。

開発者にとって重要なのは、生成量を減らすのではなく、生成の実行経路を変えた点だ。高速化を別途有効にする設定なしで、標準の経路に改善を反映した。

Qwen3.5・Qwen3.6系では、以前の計算を再利用するキャッシュでもこの高速化経路に対応する。

Gemma 4の生成段階も対応対象に含まれた。

生成中に使うキャッシュ領域を必要に応じて拡張する機能は、オプションとして追加された。標準の生成高速化とともに、キャッシュの運用方法を選ぶ余地も設けた。

3. 旧型GPUでの画像モデル実行とメモリ

INT8・FP8画像モデルを旧型NVIDIA GPUでも読み込めるようになった。従来は実行を拒否していた精度の組み合わせへの対応を広げた。

FLUX.3で黒い画像が出力される問題も修正した。同社発表では、FLUX.2とFLUX.3は画像デコード時のグラフィックスメモリ使用量を36~43%減らしつつ、速度は同じだ。

T4のFLUX.3では、入力情報の重要度を計算するアテンションを16ビット浮動小数点で実行するよう変更した。同社発表では、この変更により画像1枚当たりの生成時間がGGUFで15%、INT8で34%短縮した。

これとは別に、中間計算値の大きさを調整して低精度を維持する変更では、同社発表によると、同じカードの画像1枚当たりの生成時間がINT8で24%、GGUF Q8_0で73%短縮した。

モデルが学習して保存した数値である重みを段階ごとに再コピーせず、システムメモリ上のコピーを参照する変更もある。同社発表では、同カードでFLUX.3のGGUF Q8_0を実行する際、画像1枚当たりの生成時間が11%短縮した。

Qwen-Image-2.1では、文章を画像生成用の情報に変換するテキストエンコーダーを、提供されているINT8版で読み込むようにした。同社発表では、T4 Turbo・INT8条件の画像1枚当たりの生成時間が、変更前の82.7秒から変更後の31.9秒に短縮した。

これらの結果は、各変更の前後で所要時間が短縮したことを示す。上記の数値はモデルや、数値を少ないビットで表す量子化の手法、修正内容が異なるため、一つの性能順位として比較することはできない。

4. 学習は対応モデルと動画データを拡充

長い文脈を複数のデバイスに分けて処理するコンテキスト並列学習も、対応対象を増やした。Kimi-LinearとDeepSeekが新たな対応対象に含まれた。

MiniMaxとGemma 4のテキストモデルにも対応する。

動画入力に対応する視覚言語モデル、つまり画像と文章を一緒に処理するモデルの学習では、データセットのvideo列を捨てていた問題を修正した。動画学習を準備する開発者にとっては、速度よりも学習データが正しく反映されるかが重要な変更だ。

5. 互換性拡大に合わせてメモリ予算も調整

旧型カードで実行可能なモデルが増える利点とともに、計算中に必要なメモリを反映する方式も変わった。FP8は重みの保存にのみ使う方式で互換性を確保し、FLUX.3は保存された重みを維持しつつ、層ごとの計算を32ビット浮動小数点で処理する経路も使う。

この計算経路で中間計算値を格納する活性化メモリの予算は、測定表を基準に2倍に設定するよう調整した。リリースでは、これによりT4でGGUF Q4のノイズ除去モデル、つまり画像のノイズを減らすモデルをカード上に維持できるようにしたと説明する。重みの保存領域に加え、中間計算値が占める領域まで反映した実行計画の変更だ。

今回のリリースの要点は、新たなGGUFの公開とともに、T4のような旧型カードで生成速度と画像モデルの選択肢を拡大したことだ。