Pika H3 Flex：6段階の生成、参照制御

1. 6段階に短縮した映像・音声生成

H3 FlexはMiniMax H3を基に追加学習したモデルだ。映像とステレオ音声を同時に生成し、ノイズを取り除いて結果を作る反復回数を元のモデルの50回から6回に減らした。同社発表によると、条件を統制して性能を同じ基準で比較するベンチマークでは、15秒の768p映像と同期音声を生成するトランスフォーマー演算に最短7秒を要した。これは文脈の関係を学習するニューラルネットワーク構造の計算を指す。

同社発表によると、公開時点のDesignArenaのテキスト入力による動画生成ランキングは、オープンウェイトモデルで1位、全体で7位だった。同社は11月2日から自社の動画制作製品でもモデルを提供すると発表した。

2. 参照資料ごとに人物・背景・動きを指定

ユーザーは一度に最大12個の参照資料を入力し、人物、背景、動きをそれぞれ指定できる。使い方と制限を説明するモデルカードとリポジトリに示された、複数の資料を同時に参照するマルチリファレンスモードのファイル種類別の上限は次のとおりだ。

表：マルチリファレンス生成の種類別入力上限

条件：Pika H3 Flexのマルチリファレンスモード、参照ファイルの合計は最大12個

単位：個

種類別の上限と合計の上限が同時に適用されるため、画像または映像のいずれかを含めて資料を組み合わせる。映像と独立した音声ファイルはそれぞれ2～15秒で、映像の長さの合計と独立した音声の長さの合計もそれぞれ15秒以内でなければならない。

モデルへの指示文であるプロンプトには、各資料の役割とシーンの流れを記述できる。例えば、ある画像の人物と別の画像の背景を組み合わせ、映像から動作やカメラの動きを参照させられる。一部が気に入らない場合には、元の演技とタイミングを保ちながら衣装や小道具、背景を変える、参照資料に基づく編集手法も紹介された。

3. ローカルで生成し、ホスティングで仕上げる

公開パッケージは、テキスト入力、最初と最後のフレーム指定、マルチリファレンス方式の生成に対応する。ローカルで生成する映像は480pまたは768pで、ミックス済みのステレオ音声を含む。基盤モデルに加える追加の重みであるアダプターと実行コードを使い、自前のハードウェアでモデルを動かし、プロンプトと入力資料を処理してMP4の出力を作れる。

Pika APIは、下書きを1080p、2K、4Kへ高解像度化するアップスケール、5種類の音声トラック分離、入力指示文を自動で整える任意のプロンプト補強機能を提供する。分離できるトラックは、台詞、音楽、効果音、動作音、環境音だ。映像の仕上がり解像度を上げたり、編集時に音声を個別に扱ったりする必要がある制作者は、このホスティング機能を追加で利用することになる。

4. 自前の実行で得るのは制御権、代償はインフラ

ローカル実行は、開発者がモデルを直接動かして新たなツールを作る余地を広げる一方、ハードウェアとストレージを自ら用意する方式だ。リポジトリから2つのタスク用の重みを両方ダウンロードした場合、ベースファイルは約210GB、アダプターは5.5GBだった。実際の生成では、選択したタスクに対応するモデル部分を読み込む。

リポジトリでは、代表的な480p・768pのリクエストをH100 80GBの1枚でテストしたと説明している。メモリ負担を減らすにはモデルの一部をCPUに置くオプション機能を使えるが、その場合はシステムメモリの使用量とデータ転送時間が増える。

前述の7秒はAPI全体の応答時間ではなく、参照入力、高解像度の仕上げ、音声分離、ハードウェアとサービスの処理コストによって実際の完了時間は変わる。ローカルパッケージは1つのリクエストをGPU1枚で処理し、複数のGPUに処理を分散する方式には対応しないため、長い映像や大規模な参照の組み合わせはGPUメモリを超える可能性がある。

インストールは、Python 3.12とNVIDIA GPU、互換ドライバーを備えた環境でリポジトリを複製してから進める。以下はREADMEに記載された依存関係のインストールとパッチ適用のコマンドで、その後にパッケージをインストールし、生成コマンドを実行する順序となる。

python -m pip install -r requirements.txt
python tools/apply_diffusers_patches.py

推論・ローダーのコードはApache-2.0で提供され、アダプターはMiniMax H3コミュニティライセンス契約に従う。

H3 Flexは、反復生成とシーン制御を自前の実行へと移す一方、高解像度の仕上げと音声分離はホスティングサービスに残した、選択型の制作ツールだ。