Diffusers 0.43.0：モジュラー統合、推論の改善

1. 画像生成と編集を構成要素で組み立てる

今回のモジュラーパイプラインは、生成に必要な構成要素を分けて読み込む方式だ。MiniMax-H3-Imageはテキストと1枚以上の参照画像による生成・編集に対応し、生成工程は固定の6ステップとなる。短いリクエストを拡張し、アスペクト比を提案する別のフローも提供する。

リリースノートで案内されている、このモデルの読み込み順序は次のとおりだ。

ModularPipeline.from_pretrained(...)
load_components(...)

Pruna AIのP-H3-Imageはテキストからの生成と指示による編集に対応し、入力画像は最大8枚だ。リクエストを詳細な生成・編集プロンプトに変換する構成要素を含み、公開モデルの生成工程は8ステップとなる。両画像モデルとも、短いリクエストを補うフローを併せて提供する。

2. 音声も同時に生成し、録音に合わせて人物を動かす

Pika H3 FlexはMiniMax-H3を基に、6ステップで動画と同期したステレオ音声、つまり左右のチャンネルを分けた音を生成する。テキストのリクエスト、最初や最後のフレーム、さまざまな参照資料をそれぞれ別のフローで扱う。2つのパイプラインは読み込み済みの構成要素を共有でき、新しいタスクを構成する際に再利用できる。

Kandinsky S2V 1.0は、参照画像と音声録音から発話に合わせた全身動作の動画を作る。動画は5秒区間ごとに生成し、前の区間の情報を次の区間へ渡す。入力録音が音声トラックとなり、モデルは動画を作る。学習済みモデルの出力をまねて学習した蒸留版、つまり大きなモデルの出力を模倣して作られた版は、標準で16ステップを使う。

3. シーンのシミュレーションとデバイス別の推論の選択肢を広げる

PAN 2は、時間に沿った動作やカメラ移動を記述したプロンプトでシーンをシミュレーションするモデルだ。パラメーター、つまり学習中に調整されるモデル内部の数値を290億持つ。テキストや画像から動画を作り、複数デバイスに処理を分けるコンテキスト並列化や、計算結果を再利用するキャッシュに対応する。

AMDのRDNA4 gfx1201 GPU向けに、推論の計算方式を選ぶaiter_sage_hubが追加された。専用の計算コードであるカーネルをHubからダウンロードして使い、未対応の入力形状は標準の演算方式で処理する。あるモデルで選んだ計算方式が別のモデルまで変えてしまう不具合も修正された。

MiniMax-H3には、モデル内部の計算を複数デバイスに分けるテンソル並列化が追加された。大きなモデルを分散実行したい開発者に、新たな構成の選択肢が加わったことになる。

4. 保存ファイルと連続生成の状態管理を修正する

モデルに取り付けて調整するLoRAアダプターを複数併用する際、構成要素ごとの重み設定が各アダプターへ正しく渡るよう修正された。

一部の画像生成用アダプターの学習例では、学習中の過大な更新を抑える勾配クリッピング、つまり学習値の急激な変化を防ぐ処理が実際に適用されるよう修正された。

学習済みの重みを含むチェックポイントを保存する際、別のバリアントの分割ファイルを削除しなくなった。分割ファイルを単一ファイルに変えると、古いインデックスを整理する。複数バリアントの保存データを一緒に管理する際に影響する修正だ。

モジュラーパイプラインは、呼び出しごとに計算再利用の状態を初期化する。エラーで中断された呼び出しの後も状態を整理し、次の生成を新たな状態で開始するようにした。

5. 選択肢が広がり、実行環境の準備も増える

新たなモデルの選択肢と計算分散機能を得る代わりに、導入時には選択した計算カーネルのダウンロードと実行に必要な外部ソフトウェア、つまり追加の依存関係を準備することになる。生成フローを組み立てる利便性だけでなく、それを実行する環境も併せて確認すべき更新だ。

従来の最低サポートバージョンであるtorch 2.6とtransformers 4.41.2が依存関係のチェックで強制されるようになり、それを下回る環境ではアップグレードの案内が表示される。

PAN 2のプロンプト・動画の安全性チェックは標準で有効になっており、別途pan2-guardrailパッケージが必要だ。

0.43.0は、5つのモデルをモジュラー方式で拡充すると同時に、推論と保存・学習の実利用上の不具合を減らすリリースだ。