对于想将视频中特定人物替换为参考图角色的创作者,官方推荐了能更长久保持替换后面容和头发的新模型。这项改进是否足以支持在实际待编辑镜头中承担内存负担并采用它?

1. 新的默认选择与改进依据

H3 Character Swap LoRA V1.5 是附加到 MiniMax H3 上、用于引导人物替换的辅助权重。它不是取代原有视频模型的完整产品,而是将该模型的行为调整到人物替换方向的辅助文件。

模型卡的对比视频显示,在 V1 丢失参考人物外观或恢复原人物的场景中,V1.5 能更长久地保持角色。这是精选镜头的改进案例,并非汇总整体性能的测试,也不保证所有镜头都会改善。

原有首页演示和示例均为旧版结果,并非新版演示。

模型卡的训练与来源记录中的内部版本名和训练预算,也应与实际完成量区分。内部名称为 V2,原预算为 2,250 次,但已保存的步数与最终结束记录确认的额外更新为 1,000 次。

2. 安装与输入准备

用户需另行准备基础视频模型、将文本转换为模型输入的组件,以及压缩和还原视频与音频的组件。仅靠适配器无法运行。

H3 Relay 2.0 工作流通过界面节点呈现掩码和采样等环节:掩码用于标记待替换人物的区域,采样则是逐步生成视频的计算过程。这次工作流更新并未改变模型权重。

仓库中的手动安装示例如下。

cd /path/to/ComfyUI/custom_nodes
git clone https://github.com/akatz-ai/h3-relay.git

该工作流需要 ComfyUI 0.37.0 或更高版本。安装后需重启程序,并准备独立的模型文件和视频输入输出工具。

将原视频作为动作参考输入 <Video 1>,将参考图作为面容、头发、服装等外观参考输入 <Picture 1>。描述待替换人物和参考角色的特征,并检查掩码是否准确跟随该人物。建议先从每秒 24 帧的短连续镜头开始,检查结果后再增加长度。

3. 复现验证不等于质量排名

已验证的组合采用以 8 位整数存储权重的 Ref2VA INT8 基础模型,并将角色适配器和独立 Turbo 适配器的应用强度分别设为 1.0。Turbo 适配器是用于较少生成步数的额外辅助权重。

采样为 8 步,引导强度,即指令对结果的影响程度,为 1。生成时的更新方法,也就是采样器,为 er_sde;逐步推进的计划,也就是调度器,为 normal。

Relay 候选版 GPU 验证在 Linux 的 RTX 4090 上进行,每组新旧工作流均对齐视频、参考图、掩码、提示词、作为随机生成起点的种子、标识模型文件的模型哈希及采样设置。

在单个片段中,V1.5 和 V1 各自的新工作流均与对应旧工作流在全部 120 帧上逐像素一致。这并不意味着两个模型之间的结果相同。

在连接两个片段的人物替换中,43 帧里仅 22 帧相同,按 0~255 标度计算的平均绝对差为 1.482121。面部、姿态和背景仍存在细微差异,因此未声称数值等同。该验证确认的是工作流迁移的可复现性,并非模型间质量优劣的测量结果。

4. 收益与成本的边界

预期收益是更长久地保持参考人物外观,但内存负担仍然存在。GPU 验证记录中的 24GB 显卡在完整加载模型时耗尽显存,而在相同生成设置下,采用将部分内容移至主内存的常规卸载方式完成了任务。

输出并非只裁出掩码区域再贴回原视频。因此,检查范围不能仅限于被替换人物,还需检查周边人物和背景。除人物外观外,原有时序、表情、遮挡和场景切换也都是检查对象。

5. 输出与使用条款

将原始音轨附加到最终视频是应用工具的功能,不应将其解读为模型准确复现音频或实现口型同步的证据。

适配器遵循 MiniMax H3 社区使用条款,Relay 代码遵循 GPL-3.0。代码使用条款并不授予模型权重的使用权限,因此在分发和商业使用前,应分别确认各模型的条款。

判断是否采用时,精选的外观保持案例是试用的依据,工作流复现验证则仅支持复现迁移前结果,并非质量保证。应兼顾内存管理负担,在实际待编辑的短镜头中确认改进后再决定是否采用。

本版是测试人物外观保持改进的起点,而非能够取代结果检查的成品编辑器。