OpenMOSS 公开了一款能够生成含文字图像、并指定文字与物体位置的模型代码与权重。制作海报或告示的开发者除了用语句描述场景,还可以尝试通过坐标传递各元素的位置。

1. 基础模型与追加训练模型的区别

OpenMOSS 于 2026 年 10 月 16 日发布了 MOSS-Image-Base 和 MOSS-Image-SFT。前者是基础文生图模型,后者是在基础模型上使用筛选后的数据追加训练的版本。

输入支持自然语言描述、标签列表和 JSON 格式的布局信息。项目称其支持最长 4K token 的输入,以及动漫与写实风格生成。token 是将输入语句切分后供模型处理的单位。

仓库的对比示例称,追加训练模型的文字组块更清晰,白板布局也更整齐。但仅凭这些示例,难以断定其整体质量更优。所提供的原文未列出定量质量对比,以及速度、内存的测量值和条件。

独立管线代码以 Apache 许可证 2.0 分发。基础模型卡也为权重及随附推理代码标明了相同许可证。

2. 布局信息充当图像的设计图

布局输入将整体场景描述与单个元素列表分开编写。每个元素包含类型、描述和包围其区域的矩形,要绘制的文字则单独指定。这相当于用设计图传递文字与物体的位置,而不只是用语言要求构图。

矩形坐标依次为纵向最小值、横向最小值、纵向最大值、横向最大值。原点不是左上角,而是画面中心。对于 1024×1024 的画面,各轴范围为 −512 到 +512,数值向右、向下增大。

在网页界面中,需要将 JSON 粘贴到输入框,并使生成图像的宽高与坐标基准一致。在代码中将布局信息转为字符串时,使用 json.dumps(layout, ensure_ascii=False)。通过代码请求的图像宽高必须分别为 16 的正整数倍。

仓库说明,可通过修改文字、元素描述和矩形,以结构化方式调整内容与构图。因此,它具备与布局编辑工具连接的空间,但不应将坐标输入本身误认为完整的编辑界面。

3. 从网页界面与节点工具开始

模型卡的运行指南要求 Python 3.10 及以上版本、PyTorch 2.9 及以上版本。硬件以支持 CUDA 的 NVIDIA GPU 为基准。

安装仓库后,启动网页界面的示例如下。第一行安装网页界面所需的依赖,第二行使用基础模型启动应用。

pip install -e '.[ui]'
python gradio_app.py --model OpenMOSS-Team/MOSS-Image-Base

在通过节点连接生成流程的 ComfyUI 中,可用插件管理工具搜索并安装 MOSS-Image。与官方仓库的集成仍在进行中。

Comfy-Org 提供为节点工具重新打包的模型文件,包括两款模型的 16 位浮点文件、8 位整数量化文件,以及单独的文本编码器。这些是分发格式的选项,不能仅凭文件列表判断质量或速度差异。

4. 同时考量布局控制的收益与运行成本

其优势在于能以结构化方式指定文字和物体的位置,并根据自身任务对基础模型追加训练。不过,5B,即约 50 亿参数,只是图像生成主体的规模。解析语句的文本编码器是独立的 9B 级模型,因此不能仅凭主体大小判断整体运行负担。

网页界面支持将整个模型放在 GPU 上,或在 GPU 与 CPU 之间搬移所需组件。内存不足时可降低分辨率或选择顺序处理模式,但顺序处理会减慢推理,且无法使用编译优化。用户在获得布局控制能力的同时,也要负责坐标编写和运行资源调配。

判断该模型的引入价值,应在需要布局控制的任务中同时检验输出质量与运行成本,而不是仅看主体较小的描述。