图像与视频生成工具 Diffusers 新增五个模型,涵盖图像编辑、与语音匹配的人体动作和场景模拟。开发者可以像搭建可复用组件一样组装生成流程,现有用户则可应用推理计算和保存处理方面的错误修复。

1. 用组件组装图像生成与编辑流程

此版本的模块化流水线将生成所需的组件拆分加载。MiniMax-H3-Image 支持通过文本和一张或多张参考图像进行生成与编辑,生成过程固定为 6 步。它还提供单独的流程,用于扩展简短请求并建议宽高比。

发布说明给出的该模型加载顺序如下。

ModularPipeline.from_pretrained(...)
load_components(...)

Pruna AI 的 P-H3-Image 支持文本生成和指令式编辑,最多可输入 8 张图像。它包含将请求转为详细生成与编辑提示词的组件,发布模型的生成过程为 8 步。两个图像模型均提供完善简短请求的配套流程。

2. 同步生成声音,或按录音驱动人体动作

Pika H3 Flex 基于 MiniMax-H3,以 6 步生成视频及同步的立体声,即分左右声道播放的声音。文本请求、首帧或末帧及多种形式的参考素材分别由独立流程处理。两个流水线可共享已加载的组件,在构建新任务时复用。

Kandinsky S2V 1.0 根据参考图像和语音录音生成与说话内容匹配的全身动作视频。视频按 5 秒片段生成,并将上一片段的信息传递到下一片段。输入录音作为音轨,模型负责生成视频。其蒸馏变体通过模仿已训练大模型的输出训练而成,默认使用 16 步。

3. 扩展场景模拟与不同设备上的推理选择

PAN 2 是一个拥有 290 亿参数的模型,参数即训练过程中调整的模型内部数值。它通过描述动作和镜头随时间变化的提示词模拟场景。它可根据文本或图像生成视频,支持将任务分配至多个设备的上下文并行,以及复用计算结果的缓存。

针对 AMD 的 RDNA4 gfx1201 GPU,新增了可选择推理计算方式的 aiter_sage_hub。它从 Hub 下载并使用专用计算代码,即内核,不支持的输入形式则由默认运算方式处理。此次还修复了在一个模型中选择计算方式会影响其他模型的错误。

MiniMax-H3 新增张量并行,可将模型内部计算分配到多个设备。希望分布式运行大模型的开发者因此获得了新的配置选择。

4. 修复保存文件与连续生成的状态管理

同时使用多个附加在模型上进行调整的 LoRA 适配器时,各组件的权重配置现在会正确传递给每个适配器。

部分用于图像生成的适配器训练示例修复了梯度裁剪未实际生效的问题。该处理用于抑制训练中过大的更新,防止训练数值剧烈变化。

保存包含已训练权重的检查点时,不再删除其他变体的分片文件。将分片文件转换为单个文件时,会清理过时的索引。这些修复会影响同时管理多个变体保存文件的场景。

模块化流水线在每次调用时重置计算复用状态。即使调用因错误中断,也会清理状态,让下一次生成从新状态开始。

5. 选择增多,运行环境的准备工作也增加

在获得新模型选择和分布式计算功能的同时,引入时也需准备额外依赖,即下载和运行所选计算内核所需的外部软件。此次更新不仅涉及组装生成流程的便利性,也需一并考察运行环境。

依赖检查现在强制要求既有的最低支持版本 torch 2.6 和 transformers 4.41.2,因此低于这些版本的环境会收到升级提示。

PAN 2 的提示词与视频安全检查默认开启,需要单独安装 pan2-guardrail 软件包。

0.43.0 以模块化方式扩展了五个模型,同时减少了推理、保存和训练中的实际使用错误。