在单台 AMD Strix Halo 上运行本地语言模型及辅助任务的 halogen-flash-server 于 2026年10月20日发布了 0.18.12。项目公告称,已加载的辅助模型启动等待时间缩短,并可进行合并多张照片的编辑。Flash 检查点(模型权重文件)保持不变。

四图编辑与 NPU 启动等待缩短

多图编辑。现在可同时发送多张图片,进行将一张照片中的物体放入另一张照片等编辑。/v1/images/edits 现可接收 1~4 个 image 部分,提示词按发送顺序用 "image 1"、"image 2" 等指代图片。该功能请求来自 GitHub 议题 #179,提出者希望将一张照片中的物体放到另一张照片中。

NPU 启动等待缩短。所有 NPU 模型文件包均已通过快速启动路径重新发布。项目公告称,已加载(warm)状态下的请求加快了约 2%(1024x1024 图像)~36%(照片问答),答案保持不变。新文件需要 0.18.12 或更高版本。

减少缓存复制时的 GPU 停顿。默认情况下,副本会经过暂存缓冲区,即固定不移动的中间空间。主机移动与 GPU 关联的内存时,所有 GPU 工作队列都会暂停;在项目测试中,新路径将这部分损失时间减半。

表:NPU 图像生成与编辑耗时

条件:编辑输出为 512×512,仅在输入一张照片时可指定 1024×1024

单位:秒(项目文档给出的近似值)

四图编辑与 NPU 启动等待缩短
NPU 图像任务 (flux2-klein-4b)耗时
图像生成 512×512약 3
图像生成 1024×1024약 10
图像编辑,512×512(1张照片)약 5
图像编辑,512×512(2张照片)약 7.5
图像编辑,512×512(3张照片)약 10
图像编辑,512×512(4张照片)약 12.5
图像编辑,1024×1024(1张照片)약 12.5

这些是项目文档(docs/NPU.md)中的近似值,每增加一张照片,耗时均匀增加,最多输入四张。不支持 mask,因此局部修改需要用提示词描述。

同机提示词处理与生成速度小幅提升

项目在两台 Ryzen AI Max+ 395(128GB)上各加载一个模型,以默认设置(启用缓存、关闭推理过程生成)进行测量。bench 使用预先生成候选 token 并一同验证的草稿机制,以及每步选择最可能 token 的贪心方式,测试了 10 个提示词。平均生成速度为 v2 64.0→66.1 tok/s、ht43 65.1→66.1 tok/s。

表:v2 提示词处理速度,0.18.11 与 0.18.12

条件:v2,约 85W 持续封装功耗,同机同会话 A/B

单位:token/秒

v2 各版本提示词处理速度 (token/秒)关闭缓存,8,192 token: v2 0.18.11 1,833, v2 0.18.12 1,877; 关闭缓存,32,768 token: v2 0.18.11 1,783, v2 0.18.12 1,822; 启用缓存(冷启动),8,192 token: v2 0.18.11 1,746, v2 0.18.12 1,787; 启用缓存(冷启动),32,768 token: v2 0.18.11 1,808, v2 0.18.12 1,849v2 0.18.11v2 0.18.12关闭缓存,8,192 token1,8331,877关闭缓存,32,768 token1,7831,822启用缓存(冷启动),8,192 token1,7461,787启用缓存(冷启动),32,768 token1,8081,849
v2 各版本提示词处理速度 (token/秒)
同机提示词处理与生成速度小幅提升
测量条件v2 0.18.11v2 0.18.12
关闭缓存,8,192 token1,8331,877
关闭缓存,32,768 token1,7831,822
启用缓存(冷启动),8,192 token1,7461,787
启用缓存(冷启动),32,768 token1,8081,849

表:ht43 提示词处理速度,0.18.11 与 0.18.12

条件:ht43,约 120W 默认设置,同机同会话 A/B

单位:token/秒

ht43 各版本提示词处理速度 (token/秒)关闭缓存,8,192 token: ht43 0.18.11 1,762, ht43 0.18.12 1,835; 关闭缓存,32,768 token: ht43 0.18.11 1,808, ht43 0.18.12 1,865; 启用缓存(冷启动),8,192 token: ht43 0.18.11 1,743, ht43 0.18.12 1,815; 启用缓存(冷启动),32,768 token: ht43 0.18.11 1,809, ht43 0.18.12 1,864ht43 0.18.11ht43 0.18.12关闭缓存,8,192 token1,7621,835关闭缓存,32,768 token1,8081,865启用缓存(冷启动),8,192 token1,7431,815启用缓存(冷启动),32,768 token1,8091,864
ht43 各版本提示词处理速度 (token/秒)
同机提示词处理与生成速度小幅提升
测量条件ht43 0.18.11ht43 0.18.12
关闭缓存,8,192 token1,7621,835
关闭缓存,32,768 token1,8081,865
启用缓存(冷启动),8,192 token1,7431,815
启用缓存(冷启动),32,768 token1,8091,864

提示词处理速度提高约 2.1~4.2%,生成速度方面,v2 提高约 3.3%,ht43 提高约 1.5%。发布说明将同时验证多个草稿阶段的工作量减少列为改进内容。各表仅比较同一台机器的跨版本变化。

使用新镜像标签更新 NPU 文件

0.18.12 镜像中的 HALOGEN_DOWNLOAD 会下载新的 NPU 文件。下面是加载图像模型后合并两张照片的原文示例,请求将第二张照片中的猫放到第一张照片的长椅上。

curl -s localhost:8731/v1/images/edits -F model=flux2-klein-4b -F "image[]=@scene.png" -F "image[]=@cat.png" \
  -F prompt="put the cat from image 2 on the bench in image 1, matching its light" -F seed=7

有利于使用辅助任务的团队,但仍共享内存与功耗

在 Flash 模型旁搭配使用分类、嵌入、重排序、内容审核、流式防护、语音识别、图像生成与编辑的团队将最为受益。不过,NPU 实际工作时,Flash 模型会略微变慢。这是因为两个引擎共享内存总线和芯片的功耗预算。

据项目发布说明,在温度为 0 时,输出与 0.18.11 逐字节相同。

如需性能改进和新增的观测指标,可将镜像标签改为 0.18.12;若还要使用图像编辑,则在 HALOGEN_NPU_MODELS 中添加 flux2-klein-4b。