영상 속 특정 인물을 참고 이미지의 캐릭터로 바꾸려는 제작자에게, 바뀐 얼굴과 머리카락을 더 오래 유지하는 새 모델이 권장됐다. 이 개선은 실제 편집할 샷에서 메모리 부담을 감수하고 도입할 근거가 되는가?

1. 새 기본값과 개선 근거

H3 Character Swap LoRA V1.5는 MiniMax H3에 덧붙여 인물 교체를 유도하는 보조 가중치다. 기존 영상 모델을 대신하는 완제품이 아니라, 그 모델의 동작을 인물 교체 쪽으로 조정하는 보조 파일로 이해할 수 있다.

모델 카드의 비교 영상에서는 V1이 참고 인물의 외형을 잃거나 원본 인물로 돌아가는 장면에서 V1.5가 캐릭터를 더 오래 유지한다. 이는 선별된 샷의 개선 사례이지 전체 성능을 집계한 시험은 아니며, 모든 샷의 개선을 보증하지 않는다.

기존 첫 화면 시연과 예제는 이전 판의 결과이며 새 판의 시연으로 제시된 것이 아니다.

모델 카드의 학습·출처 기록에 남은 내부 버전명과 학습 예산도 실제 완료량과 구분해야 한다. 내부 명칭은 V2이고 원래 예산은 2,250회지만, 저장된 스텝과 최종 종료 기록이 확인하는 추가 업데이트는 1,000회다.

2. 설치와 입력 준비

사용자는 기반 영상 모델, 문장을 모델 입력으로 바꾸는 장치, 영상·오디오를 압축하고 복원하는 장치를 별도로 준비한다. 어댑터만으로 실행할 수는 없다.

H3 Relay 2.0용 작업 흐름은 바꿀 사람의 영역 표시인 마스크와 영상을 단계적으로 만드는 계산 과정인 샘플링 등을 화면의 노드로 드러낸다. 이 작업 흐름 갱신이 모델 가중치를 바꾼 것은 아니다.

저장소의 수동 설치 예시는 다음과 같다.

cd /path/to/ComfyUI/custom_nodes
git clone https://github.com/akatz-ai/h3-relay.git

이 작업 흐름에는 ComfyUI 0.37.0 이상이 필요하다. 설치 뒤에는 프로그램을 재시작하고 별도 모델 파일과 영상 입출력 도구를 준비해야 한다.

원본 영상은 동작의 기준으로 <Video 1>에, 참고 이미지는 얼굴·머리카락·의상 등 외형의 기준으로 <Picture 1>에 제공한다. 바꿀 사람과 참고 캐릭터의 특징을 설명하고, 마스크가 그 사람을 제대로 따라가는지 확인한다. 초당 24프레임의 짧고 연속된 샷에서 시작해 결과를 검토한 뒤 길이를 늘리는 순서가 권장된다.

3. 재현 검증은 품질 순위가 아니다

검증된 조합은 가중치를 8비트 정수로 저장하는 Ref2VA INT8 기반 모델에 캐릭터·별도 Turbo 어댑터의 적용 강도를 각각 1.0으로 두는 것이다. Turbo 어댑터는 적은 생성 단계에 사용하는 추가 보조 가중치다.

샘플링은 8단계이며, 지시를 결과에 반영하는 정도인 유도 강도는 1이다. 생성 중 갱신 방법인 샘플러는 er_sde, 단계별 진행 계획인 스케줄러는 normal이다.

릴레이 후보판의 GPU 검증은 리눅스의 RTX 4090에서 진행됐다. 각 구·신 작업 흐름 쌍의 영상, 참고 이미지, 마스크, 프롬프트, 무작위 생성의 시작값인 시드, 모델 파일을 식별하는 값인 모델 해시와 샘플링 설정을 맞췄다.

단일 구간에서는 V1.5와 V1 각각의 새 작업 흐름이 해당 구 작업 흐름과 120프레임 모두에서 픽셀 단위로 일치했다. 두 모델끼리 결과가 같다는 뜻은 아니다.

두 구간을 연결한 캐릭터 교체에서는 43프레임 중 22프레임만 같았고, 0~255 기준 평균 절대 차이는 1.482121이었다. 얼굴·자세와 배경에 작은 차이가 남아 수치적 동등성은 주장되지 않았다. 이 검증은 작업 흐름 이전의 재현성을 확인한 것이며, 모델 간 품질 우열을 측정한 결과가 아니다.

4. 이익과 비용의 경계

기대 이익은 참고 인물의 외형을 더 오래 유지하는 것이지만, 메모리 부담은 남는다. GPU 검증 기록의 24GB 그래픽카드에서는 모델을 전부 올려두는 방식이 메모리를 소진했고, 같은 생성 설정에서 일부를 주기억장치로 옮기는 일반 오프로딩으로 완료했다.

출력은 마스크 영역만 잘라 원본에 붙이는 방식이 아니다. 따라서 검수 범위도 바꾼 인물에만 한정할 수 없으며, 주변 인물과 배경까지 살펴야 한다. 인물의 외형뿐 아니라 원본 타이밍, 표정, 가림, 장면 전환도 검토 대상이다.

5. 출력과 이용 조건

최종 영상에 원본 사운드트랙을 붙이는 것은 응용 도구의 기능이다. 이를 모델의 정확한 오디오 재현이나 입 모양 일치의 증거로 해석해서는 안 된다.

어댑터는 MiniMax H3 커뮤니티 이용약관을 따르고, 릴레이 코드는 GPL-3.0을 따른다. 코드 이용 조건이 모델 가중치의 이용 권한까지 부여하는 것은 아니므로 배포와 상업적 사용 전에는 각 모델의 조건을 따로 확인해야 한다.

도입 판단에서 선별된 외형 유지 사례는 시험해 볼 근거이고, 작업 흐름 재현 검증은 이전 결과를 재현하는 범위의 근거이지 품질 보증은 아니다. 메모리 운용 부담까지 고려해 실제 편집할 짧은 샷에서 개선을 확인한 뒤 도입을 판단해야 한다.

이번 판은 인물 외형 유지의 개선을 시험할 출발점이지, 결과 검수를 대신하는 완성형 편집기는 아니다.