Lightricks가 영상 생성 모델 LTX-2의 1.6.2 버전을 공개하며, 참고 이미지를 영상 구간의 앞이나 뒤에 배치하는 기능을 추가했다. 여러 구간으로 나눠 영상을 만들 때는 이 이미지를 해당 구간을 맡은 조각에만 적용하거나 모든 조각에 반복 적용할 수 있다.

긴 영상을 나눠 생성하는 개발자는 장면의 기준 이미지를 어디에 반영할지 더 세밀하게 조절할 수 있다. 클립의 시작과 끝을 맡은 조각에만 가이드를 보내는 기본 선택과, 각 조각마다 같은 상대 위치의 가이드를 제공하는 선택이 함께 마련됐다.

1. 이미지 가이드를 클립 앞뒤에 배치

이번 변경은 이미지 가이드의 위치 제한을 넓힌다. 프레임 번호가 음수이면 첫 프레임 앞에, 클립 프레임 수 이상이면 마지막 프레임 뒤에 시간상 특정 지점을 표시하는 키프레임으로 놓인다. 릴리스 노트는 첫 화면의 분위기를 잡을 때 -1을 쓰는 사례를 든다.

가이드는 이미지로 생성 과정을 유도하는 입력이다. 장면 앞에 기준 사진을 놓고 그 사진을 참고해 장면을 만들도록 하는 것으로 이해할 수 있다. 사용자는 첫 장면의 참고 이미지를 영상 시작 전 위치에 지정할 수 있다.

2. 조각 단위로 선택하는 기본·반복 동작

조각 분할 생성에서 기본값은 ONCE다. 클립 앞의 가이드는 첫 프레임을 포함하는 조각에, 클립 뒤의 가이드는 마지막 프레임을 포함하는 조각에 한 번 전달된다. 가이드 위치는 해당 조각이 처리하는 프레임 구간의 시작점에서 실제로 얼마나 떨어져 있는지를 유지한다.

PER_CHUNK를 선택하면 모든 조각이 같은 상대 위치에서 가이드를 받는다. 예를 들어 -1은 각 조각이 처리하는 구간의 바로 앞에 배치된다. 클립 끝을 넘는 위치도 각 구간의 끝에서 같은 거리를 유지한다. 기준 사진을 전체 영상 앞에 한 번 놓는 대신, 나눠 만든 각 장면 앞에 되풀이해 놓는 방식이다.

3. API와 명령줄에서 지정

파이썬에서는 가이드 반복 동작을 out_of_clip_guides로 전달하며, 이미지 조건을 조각별로 만드는 함수와 ICLoraPipeline 실행에 사용할 수 있다.

명령줄에서는 --out-of-clip-guides 옵션으로 같은 반복 방식을 선택한다. 별도로 반복을 선택하지 않으면 경계를 맡은 조각에 한 번 전달하는 기본 동작을 쓴다.

저장소 문서에는 이미지 교체와 가이드 입력을 만드는 예제가 있다.

opening = ImageConditioningInput.replace("opening.png", frame_idx=0, strength=1.0)
later_replacement = ImageConditioningInput.replace("later.png", frame_idx=9, strength=1.0)
guide = ImageConditioningInput.guide("guide.png", frame_idx=80, strength=0.8)

문서 예제에서 replace()는 클립 프레임을 이미지로 교체하고, guide()는 해당 위치에 이미지 가이드를 둔다. 클립 밖 인덱스 지정은 후자의 위치 확장에 해당한다.

4. 반복 적용의 이점과 처리 비용

PER_CHUNK는 나뉜 각 구간에 동일한 기준 이미지를 제공하고 싶을 때 유용하다. 특정 조각에만 적용되는 기본값과 달리 각 구간이 가이드를 받지만, 그만큼 이미지 조건을 모델 입력 형식으로 변환하는 인코딩 작업도 여러 조각에서 수행하게 된다.

구현은 입력 이미지를 실행 중 한 번 읽고, 해당 이미지가 필요한 조각마다 그 조각의 해상도에 맞춰 조건을 인코딩한다. 반복 적용의 부담은 이미지 파일을 매번 다시 읽는 데서가 아니라, 더 많은 조각에 조건을 만드는 과정에서 생긴다.

기존 화면을 이미지로 교체하는 입력은 여전히 클립 안에 위치해야 한다. 한 조각만 생성하는 경우에는 반복 선택의 효과가 없다.

이번 변경의 핵심은 클립 앞뒤의 가이드를 허용하고, 분할 생성에서 그 기준 이미지를 한 조각에 둘지 모든 조각에 되풀이할지 선택하게 한 점이다.