Pika가 10월 29일 동영상과 소리를 함께 만드는 생성 모델 H3 Flex의 가중치와 추론 코드, 학습된 모델로 결과를 만드는 프로그램을 공개했다. 개발자는 이를 내려받아 자체 하드웨어에서 실행하고, 이미지·영상·소리를 참고 자료로 넣어 장면을 조정할 수 있다. 고해상도 업스케일과 오디오 성분 분리는 Pika가 운영하는 API 기능으로 남아 로컬 실행과 호스팅, 외부 서버에서 기능을 제공하는 방식의 역할이 갈린다.
1. 여섯 단계로 줄인 영상·소리 생성
H3 Flex는 MiniMax H3를 바탕으로 후속 학습한 모델이다. 영상과 스테레오 오디오를 함께 만들며, 잡음을 걷어 내며 결과를 만드는 반복 횟수를 원래 모델의 50회에서 6회로 줄였다. 회사 발표 기준, 통제된 벤치마크, 성능을 같은 기준으로 비교하는 시험에서 15초 분량의 768p 영상과 동기화된 오디오를 만드는 트랜스포머 연산, 문맥 관계를 학습하는 신경망 구조의 계산에 최소 7초가 걸렸다.
회사 발표 기준, 출시 시점 DesignArena의 텍스트 입력 기반 동영상 생성 순위는 오픈 웨이트 모델 중 1위, 전체 7위다. 회사는 모델을 11월 2일부터 자사 영상 제작 제품에도 제공한다고 밝혔다.
2. 참조 자료마다 인물·배경·움직임 지정
사용자는 참조 자료를 최대 12개까지 한 번에 넣어 인물, 배경, 움직임을 각각 지정할 수 있다. 모델 카드, 모델의 사용법과 한도를 설명한 문서와 저장소가 제시한 다중 참조 모드, 여러 자료를 함께 참고하는 방식의 파일 종류별 한도는 다음과 같다.
표: 다중 참조 생성의 종류별 입력 한도
조건: Pika H3 Flex 다중 참조 모드, 참조 파일 총합 최대 12개
단위: 개
| 항목 | 최대 파일 수 |
|---|---|
| 이미지 | 9 |
| 영상 | 3 |
| 독립 오디오 | 3 |
종류별 한도와 총합 한도를 함께 적용하므로 이미지나 영상 중 하나를 포함해 자료를 조합한다. 영상과 독립 오디오 파일은 각각 2~15초이며, 영상 길이의 합과 독립 오디오 길이의 합도 각각 15초 이하여야 한다.
프롬프트, 모델에 입력하는 지시문에는 각 자료가 맡을 역할과 장면의 흐름을 설명할 수 있다. 예를 들어 한 이미지의 인물과 다른 이미지의 배경을 결합하고, 영상에서 동작이나 카메라 움직임을 참고하게 할 수 있다. 특정 부분이 마음에 들지 않을 때는 원래 연기와 타이밍을 유지하면서 의상이나 소품, 배경을 바꾸는 참조 기반 편집, 참고 자료를 기준으로 내용을 고치는 방식도 소개됐다.
3. 로컬에서 생성하고 호스팅으로 마무리
공개 패키지는 텍스트 입력, 첫·마지막 프레임 지정, 다중 참조 방식의 생성을 지원한다. 로컬에서 생성하는 영상은 480p 또는 768p이며 혼합 스테레오 오디오가 포함된다. 기반 모델에 덧붙이는 추가 가중치인 어댑터와 실행 코드를 이용해 자체 하드웨어에서 모델을 구동하고, 프롬프트와 입력 자료를 처리해 MP4 결과물을 만들 수 있다.
Pika API는 초안을 1080p, 2K, 4K로 업스케일, 영상 해상도를 높이는 기능과 다섯 종류의 오디오 트랙 분리, 선택형 프롬프트 보강, 입력 지시문을 자동으로 다듬는 기능을 제공한다. 분리 가능한 트랙은 대사, 음악, 효과음, 동작음, 환경음이다. 영상 마감 해상도를 높이거나 소리를 편집 단계에서 따로 다룰 필요가 있는 제작자는 이 호스팅 기능을 추가로 이용하게 된다.
4. 자체 실행의 이익은 제어권, 대가는 인프라
로컬 실행은 개발자가 모델을 직접 구동하고 새 도구를 만들 여지를 넓히는 대신 하드웨어와 저장 공간을 직접 마련하는 방식이다. 저장소에서 두 작업용 가중치를 모두 내려받았을 때 베이스 파일은 약 210GB, 어댑터는 5.5GB였다. 실제 생성에는 선택한 작업에 맞는 모델 부분을 불러온다.
저장소는 대표적인 480p·768p 요청을 H100 80GB 한 장에서 시험했다고 설명한다. 메모리 부담을 줄이려면 모델 일부를 CPU에 두는 선택 기능을 쓸 수 있으며, 이때는 시스템 메모리 사용과 데이터 전송 시간이 늘어난다.
앞서 제시한 7초는 전체 API 응답 시간이 아니며, 참조 입력·고해상도 마무리·오디오 분리·하드웨어와 서비스 처리 비용에 따라 실제 완료 시간이 달라진다. 로컬 패키지는 한 요청을 GPU 한 장에서 처리하고 다중 GPU 분산, 여러 GPU에 작업을 나누는 방식은 지원하지 않아, 긴 영상이나 큰 참조 조합은 GPU 메모리를 넘을 수 있다.
설치는 Python 3.12와 NVIDIA GPU, 호환 드라이버를 갖춘 환경에서 저장소를 복제한 뒤 진행한다. 아래는 README에 실린 의존성 설치와 패치 적용 명령이며, 이후 패키지를 설치하고 생성 명령을 실행하는 순서다.
python -m pip install -r requirements.txt
python tools/apply_diffusers_patches.py추론·로더 코드는 Apache-2.0으로 제공되며 어댑터는 MiniMax H3 커뮤니티 라이선스 계약을 따른다.
H3 Flex는 반복 생성과 장면 제어를 자체 실행으로 가져오되, 고해상도 마무리와 오디오 분리는 호스팅 서비스에 남긴 선택형 제작 도구다.