llama.cpp v0.9.0：改进统一推理，扩展语音与模型支持

1. 改进多请求处理的缓存路径

新的 flash_attn_ext_rows 运算可在同时处理多个请求时，更高效地利用统一 KV 缓存，即集中存储各请求键值信息的空间。每个查询片段会引用分配给自己的缓存行列表。项目表示，在不使用统一缓存的路径中，也恢复了预填充阶段的性能，即首次处理输入、预先计算输入上下文的阶段。

量化方面新增了 OCP FP8 E4M3 格式及转换支持，这是一种用较少比特表示数值的规范。量化是用更小的格式表示模型数值的方式，此次增加了可用的表示格式。公共头文件中也加入了指定新格式的值。

Gemma 4 E2B 和 E4B 的计算图得到了优化，即改进运算之间的关系。项目发布说明称，这两个模型的预填充性能显著提升。此次不仅改进了处理多个请求的通用路径，也调整了特定模型的输入处理。

2. 新增四种模型架构支持

新支持的模型包括 Clover-35B-A3B-Preview 和 Limite 1B。前者以自回归模式获得支持，即根据此前生成的内容继续生成后续内容。

此次还加入了 Metis-1.6 和 Mistral Large 4。Metis-1.6 有 Praxis 约2.9B 和 Logos 约10.2B 两个变体，采用 Mamba-2 与 GQA 注意力混合架构。在改进缓存和运算路径的同时，该工具可运行的模型架构范围又增加了四种。

3. 扩展语音生成与多语言转写

语音生成方面加入了 Chatterbox TTS 支持。Pocket TTS 新增了无需语音克隆即可使用预设声音的功能。除了克隆自己的声音，用户现在也可以选择已有声音。

Nemotron 3.5 Transcribe 支持40种语言的离线转写。根据项目说明，它能够结合提示词上下文，并提供将话语关联到说话人的功能。此次版本同时扩展了语音生成和录音转文字功能。

视频输入方面改进了 qwen3-vl 的提示词格式支持。Gemma 4 的图像输入改为不添加填充边距而直接调整尺寸。除语音外，其他输入处理也针对不同模型进行了完善。

4. 在服务器端查看声音并按名称选择

服务器的 GET /props 响应会包含模型提供的预设声音列表。语音生成请求可以传入声音名称。开发服务时，现在可以通过服务器 API 串联声音列表查询与声音选择。

/v1/responses 改为将附加参数合并到转换后的聊天响应中。使用现有响应路径的集成代码需要检查这一变化。

网页界面会将对话保持在底部，直到用户向上滚动。对于尚未返回响应的工具调用，界面也会显示中断状态。这些变化完善了查看对话进展时的界面行为。

5. 应用范围扩大与接口迁移负担

新增的通用批量张量复制 API 可成批复制多维数值数组，旨在替代现有 _2d 系列，并已在 Metal 和 CUDA 中实现。随着批量处理多个张量复制的接口出现，直接调用旧系列接口的代码在迁移时可能需要修改。采用新功能的收益与维护集成代码的成本由此并存。

底层库 ggml 升级至 v0.29.0。此次加入了张量并行的初步支持，即将模型计算分配给多个节点，并包含针对计算后端的优化，也就是针对实际执行运算的软件进行优化。对服务开发者而言，不仅新模型，实际使用的计算路径也需要纳入更新评估。

发布说明未提供性能改进的测量数据，也未列出硬件和配置。说明中没有提到任何下一版本号：全文都没有出现“1.0.0”字样，也没有关于该版本的里程碑或准备阶段的描述。与版本有关的唯一线索是“More info”中指向 ggml 讨论帖“Releases and versioning of ggml-org projects”的链接，其讨论内容无法仅凭这份发布说明确认。

v0.9.0 同时拓展了并发推理路径以及模型与语音的应用范围，对现有服务而言，检查接口迁移是此次更新的重要环节。