苹果研究人员发布了两款可随用户操作快速续生成视频的模型,以及运行代码和训练中间检查点。开发者可下载这些资源,生成文字描述的视频,或亲自测试随摄像机移动而改变场景的演示。

1. 用轻量组件替代两项繁重运算

FastFrames是一种自回归视频生成模型,根据已生成的场景和新输入生成下一段场景。它不要求等待完整视频,而是随操作延续场景,因此被提出用于在视频中反映摄像机移动或物理交互。

研究人员分析发现,将内部压缩表示转换为画面的解码,以及更新先前帧信息的缓存操作,可能占现有模型总延迟的一半以上。他们用轻量像素解码器和整理先前帧信息的缓存细化网络替代这两项操作,并通过系统优化加速扩散运算,即逐步降噪以生成视频的过程。

2. 在同一张GPU上比现有模型等待更短

按公司公布的数据,下列数值是在单张英伟达B200 GPU上生成480p视频时,完成初始启动后稳态下处理一个生成单元的延迟。小型和大型模型各有比较对象,可据此查看相同规模下延迟缩短的程度。

表:单张B200上一个生成单元的延迟

条件:480p、1张NVIDIA B200 GPU、稳态、以1个生成单元为准

单位:ms

单张B200上的视频生成延迟CF++: 延迟 272; FastFrames-S: 延迟 36; Krea-Realtime: 延迟 1,675; FastFrames-L: 延迟 158CF++272FastFrames-S36Krea-Realtime1,675FastFrames-L158
单张B200上的视频生成延迟
在同一张GPU上比现有模型等待更短
项目延迟
CF++272
FastFrames-S36
Krea-Realtime1,675
FastFrames-L158

据公司公布,FastFrames-S在保持Causal Forcing++生成质量的同时,速度接近其8倍。

据公司公布,大型模型FastFrames-L在逼真度、指令遵循能力、构图及文字呈现能力上与Krea-Realtime相近,速度则超过其10倍。

公司在论文摘要中公布的480p性能为:小型模型在单张B200上每帧36毫秒,每秒响应28次。大型模型在配备8张B200的节点上每帧45毫秒,每秒响应22次。这些响应频率是面向用户可操控视频体验的代表性结果。

3. 同时发布两款模型及训练检查点

FastFrames-S有13亿个参数,即模型通过训练学到的可调数值,FastFrames-L则有140亿个。两者都通过两步扩散运算生成480p视频。在相同分辨率下提供两种规模的模型,让开发者可根据响应速度与视频质量进行测试。

公开内容不限于最终生成器、解码器和缓存细化网络。大型模型仓库还包含教师模型,即提供示范输出的模型,以及学习其输出的蒸馏过程中的中间检查点,让研究人员不仅能查看最终结果,也能查看各训练阶段的模型。

LingBot 1.3B的优化版本也已公开。据公司公布,其速度是官方模型的16倍。项目页面并排展示了同时接收相同输入,并响应键盘摄像机移动操作的效果。

4. 自行安装以生成视频或运行交互演示

仓库要求Linux x86-64、英伟达GPU和兼容CUDA 12.8的驱动程序。在仓库根目录准备环境,按检查点说明下载权重,即训练确定的模型内部数值后,即可用以下命令生成视频。

uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
    --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4

默认示例输出分辨率为832×480、共81帧、每秒16帧的视频。这里的每秒16帧是所保存视频的播放速度。

公开演示展示了键盘摄像机控制,以及基于物理的拖拽,即遵循物理规律拖动对象的操作。开发者可先通过视频生成示例确认输出,再按单独的配置说明运行交互演示。

5. 大型模型的快速响应需要更多GPU资源

速度提升的收益在于缩短操作后等待下一段场景的时间。按公司公布的数据,大型模型的延迟从单张B200上的158毫秒缩短至八张上的45毫秒,因此更短的等待伴随着投入多张GPU的资源负担。

小型模型的单卡结果与大型模型的八卡结果硬件条件不同,不能直接用于比较模型间的速度排名。开发者需同时确定目标视频质量和可用GPU数量,再选择运行配置。

FastFrames的价值在于同时开放缩短视频生成响应等待时间的设计与训练成果,让开发者亲自测试质量与计算资源之间的平衡。