Appleの研究陣が、ユーザーの操作に合わせて動画を素早く継続生成するモデル2種と実行コード、学習途中のチェックポイントを公開した。開発者はこれらをダウンロードし、文章で指定した動画の生成や、カメラを動かすとシーンが変わるデモを自分で試せる。

1. 負荷の高い2つの演算を軽量な構成要素に置き換え

FastFramesは、先に作ったシーンと新たな入力を基に次のシーンを生成する自己回帰型動画生成モデルだ。完成した動画を待つのではなく、操作に応じてシーンをつないでいく方式で、カメラ移動や物理的な相互作用を動画に反映する用途が示された。

研究陣は、内部の圧縮表現を映像に変えるデコードと、過去のフレーム情報を更新するキャッシュ処理が、従来モデルの全遅延の半分以上を占めうると分析した。この2つを軽量なピクセルデコーダーと、過去のフレーム情報を整理するニューラルネットワークであるキャッシュ精製網に置き換えた。さらに、ノイズを段階的に減らして動画を仕上げる拡散演算も、システム最適化で高速化した。

2. 同じGPU1基で従来モデルより短い待ち時間

同社の発表によると、以下の数値は480p動画をNVIDIA B200 GPU1基で生成した際の、初期起動後の定常状態における生成単位1つの処理遅延だ。小型モデルと大型モデルにそれぞれ比較対象があり、同じ規模で遅延をどれだけ削減したかが分かる。

表:B200 1基での生成単位1つの遅延時間

条件:480p、NVIDIA B200 GPU 1基、定常状態、生成単位1つ当たり

単位:ms

B200 1基での動画生成遅延CF++: 遅延時間 272; FastFrames-S: 遅延時間 36; Krea-Realtime: 遅延時間 1,675; FastFrames-L: 遅延時間 158CF++272FastFrames-S36Krea-Realtime1,675FastFrames-L158
B200 1基での動画生成遅延
同じGPU1基で従来モデルより短い待ち時間
項目遅延時間
CF++272
FastFrames-S36
Krea-Realtime1,675
FastFrames-L158

同社の発表によると、FastFrames-SはCausal Forcing++の生成品質を維持しながら、ほぼ8倍に高速化した。

大型のFastFrames-Lは、Krea-Realtimeと同程度のリアリティーや指示への追従能力、構図、文字表現能力を備えながら、10倍超の速度を実現したと同社は発表している。

論文要旨で同社が公表した480pでの性能は、小型モデルがB200 1基で1フレーム当たり36ミリ秒、毎秒28回の応答だ。大型モデルはB200 8基のノードで1フレーム当たり45ミリ秒、毎秒22回の応答を示した。この応答頻度は、ユーザーが操作する動画体験を狙った代表的な結果だ。

3. 2つのモデルと学習チェックポイントを併せて配布

FastFrames-Sは学習で調整されるパラメーター数が13億個、FastFrames-Lは140億個の規模で、どちらも480p動画を2段階の拡散演算で生成する。同じ解像度で規模の異なる2モデルを提供し、開発者が応答速度と動画品質に合わせて試せるようにした。

公開範囲は最終的な生成器とデコーダー、キャッシュ精製網にとどまらない。大型モデルのリポジトリには、出力を手本とする教師モデルと、その出力を学ぶ蒸留過程の途中のチェックポイントも含まれるため、研究者は最終結果だけでなく学習段階ごとのモデルを調べられる。

LingBot 1.3Bの最適化版も公開された。同社の発表によると公式モデルより16倍速く、プロジェクトページでは同じ入力を同時に与え、キーボードでのカメラ移動に反応する様子を並べて示している。

4. 自分でインストールして生成や操作型デモを実行

リポジトリはLinux x86-64とNVIDIA GPU、CUDA 12.8対応ドライバーを前提としている。リポジトリのルートで環境を準備し、チェックポイントの案内に従って学習で決まるモデル内部の数値である重みを取得すると、次のコマンドで動画を生成できる。

uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
    --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4

基本の例では、832×480の解像度、81フレーム、毎秒16フレームの動画を出力する。ここでの毎秒16フレームは、保存した動画の再生速度を指す。

公開デモでは、キーボードによるカメラ操作と、物理法則を反映して対象を引っ張る物理ベースのドラッグ操作を示している。開発者は動画生成の例で出力を確認した後、別途の設定案内に従って操作型デモを実行する順序で取り組める。

5. 大型モデルの速い応答にはより多くのGPU資源が必要

高速化の利点は、操作後に次のシーンを待つ時間を短縮できることにある。同社の発表によると、大型モデルはB200 1基で158ミリ秒、8基で45ミリ秒に高速化するため、待ち時間を短くする代わりに複数のGPUを投入する資源負担が増える。

小型モデルの1基での結果と大型モデルの8基での結果はハードウェア条件が異なり、モデル間の単純な速度順位として比較できない。開発者は、目標とする動画品質と確保できるGPU数を併せて定め、実行構成を選ぶ必要がある。

FastFramesの価値は、動画生成の応答待ちを短縮する設計と学習成果を併せて公開し、開発者が品質と計算資源のバランスを自分で試せるようにした点にある。