이미지·영상 생성 도구 Diffusers가 이미지 편집부터 음성에 맞춘 사람 동작, 장면 시뮬레이션까지 다루는 다섯 모델을 추가했다. 개발자는 생성 과정을 재사용 가능한 부품처럼 조립하고, 기존 이용자는 추론 계산과 저장 처리의 오류 수정을 적용할 수 있다.

1. 이미지 생성과 편집을 구성 요소로 조립한다

이번 버전의 모듈러 파이프라인은 생성에 필요한 구성 요소를 나눠 불러오는 방식이다. MiniMax-H3-Image는 텍스트와 하나 이상의 참조 이미지로 생성·편집을 지원하며, 생성 과정은 고정 6단계다. 짧은 요청을 확장하고 화면 비율을 제안하는 별도 흐름도 제공한다.

릴리스 노트가 안내하는 이 모델의 불러오기 순서는 다음과 같다.

ModularPipeline.from_pretrained(...)
load_components(...)

Pruna AI의 P-H3-Image는 텍스트 기반 생성과 지시형 편집을 지원하고 입력 이미지는 최대 8장이다. 요청을 상세한 생성·편집 프롬프트로 바꾸는 구성 요소를 포함하며, 배포된 모델의 생성 과정은 8단계다. 두 이미지 모델 모두 짧은 요청을 보완하는 흐름을 함께 제공한다.

2. 소리를 함께 만들거나 녹음에 맞춰 사람을 움직인다

Pika H3 Flex는 MiniMax-H3를 바탕으로 6단계에서 영상과 동기화된 스테레오, 좌우 채널을 나눠 들려주는 소리를 생성한다. 텍스트 요청, 첫 프레임이나 마지막 프레임, 여러 형태의 참조 자료를 각각 별도 흐름으로 다룬다. 두 파이프라인은 이미 불러온 구성 요소를 공유할 수 있어, 새 작업을 구성할 때 재사용할 수 있다.

Kandinsky S2V 1.0은 참조 이미지와 음성 녹음으로 말에 맞춘 전신 동작 영상을 만든다. 영상은 5초 구간으로 생성하며 이전 구간의 정보를 다음 구간으로 넘긴다. 입력 녹음이 소리 트랙이 되고 모델은 영상을 만든다. 학습된 모델의 출력을 본떠 학습한 증류 변형, 큰 모델의 출력을 본떠 만든 형태는 기본 16단계를 쓴다.

3. 장면 시뮬레이션과 장치별 추론 선택지를 넓힌다

PAN 2는 시간에 따른 동작과 카메라 이동을 묘사한 프롬프트로 장면을 시뮬레이션하는 290억 매개변수, 학습 과정에서 조정되는 모델 내부 숫자를 가진 모델이다. 텍스트나 이미지를 바탕으로 영상을 만들며, 여러 장치에 작업을 나누는 문맥 병렬화와 계산 결과를 재사용하는 캐싱을 지원한다.

AMD의 RDNA4 gfx1201 GPU에는 추론 계산 방식을 선택하는 aiter_sage_hub가 추가됐다. 전용 계산 코드인 커널을 Hub에서 내려받아 쓰며, 지원하지 않는 입력 형태는 기본 연산 방식으로 처리한다. 모델 하나에서 고른 계산 방식이 다른 모델까지 바꾸던 오류도 고쳤다.

MiniMax-H3에는 모델 내부 계산을 여러 장치로 나누는 텐서 병렬화가 추가됐다. 큰 모델을 분산 실행하려는 개발자에게 새 구성 선택지가 생긴 셈이다.

4. 저장 파일과 연속 생성의 상태 관리를 고친다

모델에 붙여 조정하는 LoRA 어댑터를 여러 개 함께 쓸 때, 구성 요소별 가중치 설정이 각 어댑터에 올바르게 전달되도록 수정했다.

일부 이미지 생성용 어댑터 학습 예제에서는 학습 중 지나치게 큰 갱신을 억제하는 기울기 제한, 학습 값의 급격한 변화를 막는 처리가 실제 적용되도록 고쳤다.

학습된 가중치를 담는 체크포인트를 저장할 때는 다른 변형의 조각 파일을 지우지 않는다. 조각 파일을 단일 파일로 바꾸면 낡은 색인을 정리한다. 여러 변형의 저장본을 함께 관리할 때 영향을 주는 수정이다.

모듈러 파이프라인은 호출마다 계산 재사용 상태를 초기화한다. 오류로 중단된 호출 뒤에도 상태를 정리해 다음 생성을 새 상태로 시작하도록 했다.

5. 선택지는 넓어지고 실행 환경 준비는 늘어난다

새 모델 선택지와 계산 분산 기능을 얻는 대신, 도입 단계에서는 선택한 계산 커널의 다운로드와 실행에 필요한 외부 소프트웨어인 추가 의존성을 준비하게 된다. 생성 흐름을 조립하는 편의뿐 아니라 이를 실행할 환경까지 함께 살펴야 하는 업데이트다.

기존 최소 지원 버전인 torch 2.6과 transformers 4.41.2를 이제 의존성 검사에서 강제하므로, 이보다 낮은 환경에는 업그레이드 안내가 나온다.

PAN 2의 프롬프트·영상 안전 검사는 기본으로 켜져 있으며 별도 pan2-guardrail 패키지가 필요하다.

0.43.0은 다섯 모델을 모듈러 방식으로 넓히는 동시에, 추론과 저장·학습의 실사용 오류를 줄이는 릴리스다.