애플 연구진이 사용자 조작에 맞춰 영상을 빠르게 이어 만드는 모델 두 종과 실행 코드, 학습 중간 체크포인트를 공개했다. 개발자는 이를 내려받아 글로 지정한 영상을 만들거나, 카메라를 움직일 때 장면이 바뀌는 데모를 직접 시험할 수 있다.

1. 두 가지 무거운 연산을 가벼운 구성요소로 대체

FastFrames는 앞서 만든 장면과 새 입력을 바탕으로 다음 장면을 만드는 자기회귀 영상 생성 모델이다. 완성된 영상을 기다리는 대신 조작에 따라 장면을 이어 가는 방식이어서, 카메라 이동이나 물리적 상호작용을 영상에 반영하는 용도로 제시됐다.

연구진은 내부의 압축된 표현을 화면으로 바꾸는 디코딩과 이전 프레임 정보를 갱신하는 캐시 작업이 기존 모델의 전체 지연에서 절반 이상을 차지할 수 있다고 분석했다. 이 두 작업을 가벼운 픽셀 디코더와 캐시 정제망, 이전 프레임 정보를 정리하는 신경망으로 대체하고, 영상을 다듬는 확산 연산, 잡음을 단계적으로 줄여 영상을 만드는 과정도 시스템 최적화로 가속했다.

2. 같은 GPU 한 장에서 기존 모델보다 짧아진 대기 시간

회사 발표 기준 아래 수치는 480p 영상, 엔비디아 B200 GPU 한 장에서 초기 구동을 지난 정상 상태의 생성 단위 하나를 처리하는 지연 시간이다. 소형 모델과 대형 모델 각각에 비교 대상이 있어, 같은 규모에서 지연을 얼마나 줄였는지 볼 수 있다.

표: B200 한 장에서 생성 단위 하나의 지연 시간

조건: 480p, NVIDIA B200 GPU 1장, 정상 상태, 생성 단위 1개 기준

단위: ms

B200 한 장에서의 영상 생성 지연CF++: 지연 시간 272; FastFrames-S: 지연 시간 36; Krea-Realtime: 지연 시간 1,675; FastFrames-L: 지연 시간 158CF++272FastFrames-S36Krea-Realtime1,675FastFrames-L158
B200 한 장에서의 영상 생성 지연
같은 GPU 한 장에서 기존 모델보다 짧아진 대기 시간
항목지연 시간
CF++272
FastFrames-S36
Krea-Realtime1,675
FastFrames-L158

회사 발표 기준 FastFrames-S는 Causal Forcing++의 생성 품질을 유지하면서 거의 8배 빨라졌다.

대형인 FastFrames-L은 Krea-Realtime과 비슷한 사실감과 지시 반영 능력, 구도, 문자 표현 능력을 내면서 10배 넘게 빠르다는 것이 회사 발표다.

논문 초록에서 회사가 발표한 480p 성능은 소형 모델이 B200 한 장에서 프레임당 36밀리초, 초당 28회 응답이다. 대형 모델은 B200 8장 노드에서 프레임당 45밀리초, 초당 22회 응답을 제시했다. 이 응답 빈도는 사용자가 조작하는 영상 경험을 겨냥한 대표 결과다.

3. 두 모델과 학습 체크포인트를 함께 배포

FastFrames-S는 매개변수, 모델이 학습한 조정 수치 13억 개, FastFrames-L은 140억 개 규모이며 둘 다 480p 영상을 두 단계의 확산 연산으로 생성한다. 같은 해상도에서 규모가 다른 두 모델을 제공해 개발자가 반응 속도와 영상 품질에 맞춰 시험할 수 있게 했다.

공개 범위는 최종 생성기와 디코더, 캐시 정제망에 그치지 않는다. 대형 모델 저장소에는 교사 모델, 출력을 본보기로 삼는 모델과 그 출력을 배우는 증류 과정의 중간 체크포인트도 담겨 있어, 연구자는 최종 결과뿐 아니라 학습 단계별 모델을 살펴볼 수 있다.

LingBot 1.3B의 최적화 버전도 공개됐다. 회사 발표 기준 공식 모델보다 16배 빠르며, 프로젝트 페이지는 같은 입력을 동시에 넣고 키보드 카메라 이동에 반응하는 모습을 나란히 보여 준다.

4. 직접 설치해 생성하거나 조작형 데모 실행

저장소는 리눅스 x86-64와 엔비디아 GPU, CUDA 12.8 호환 드라이버를 전제로 한다. 저장소 루트에서 환경을 준비하고 체크포인트 안내에 따라 가중치, 학습으로 정해진 모델 내부 수치를 받은 뒤 다음 명령으로 영상을 만들 수 있다.

uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
    --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4

기본 예시는 832×480 해상도, 81프레임, 초당 16프레임 영상을 출력한다. 여기서 초당 16프레임은 저장된 영상의 재생 속도다.

공개된 데모는 키보드 카메라 조작과 물리 기반 드래깅, 물리 법칙을 반영해 대상을 끄는 조작을 보여 준다. 개발자는 영상 생성 예시로 출력을 확인한 뒤, 별도 설정 안내를 따라 조작형 데모를 실행하는 순서로 접근할 수 있다.

5. 대형 모델의 빠른 반응에는 GPU 자원이 더 든다

속도 개선의 이익은 조작 뒤 다음 장면을 기다리는 시간을 줄이는 데 있다. 회사 발표 기준 대형 모델은 B200 한 장에서 158밀리초, 여덟 장에서 45밀리초로 빨라지므로, 더 짧은 대기를 얻는 대신 여러 GPU를 투입하는 자원 부담이 커진다.

소형 모델의 한 장 결과와 대형 모델의 여덟 장 결과는 하드웨어 조건이 달라 직접적인 모델 간 속도 순위로 비교할 수 없다. 개발자는 목표로 하는 영상 품질과 확보 가능한 GPU 수를 함께 정해 실행 구성을 골라야 한다.

FastFrames의 가치는 영상 생성의 반응 대기를 줄이는 설계와 학습 결과물을 함께 열어, 개발자가 품질과 연산 자원의 균형을 직접 시험하게 했다는 데 있다.