用于在本地设备和服务器上运行 AI 模型的 llama.cpp 发布了新的主版本。将其集成到产品中的开发者今后可通过版本号判断现有集成方式何时发生变化,同时也能采用新增的模型支持和服务器安全改进。

1. 主版本标明兼容性边界

开发团队于 2026 年 11 月 13 日发布了 llama.cpp 及其底层计算库 ggml 的 v1.0.0。今后,当公共 C API 或与已构建程序的兼容性遭到破坏时,将递增版本号的首位数字,向集成产品标明变更边界。

版本规则分为三个层级。破坏公共 C API 的变更归为主版本,即兼容性边界发生变化的大版本;保持现有用法的功能或模型支持新增归为次版本,即增加新功能的中间版本;不改变 API 的错误修复归为补丁版本,即不增加功能、仅修复错误的版本。这相当于在每次发布时,让开发者在阅读变更列表前就能初步判断是否需要修改集成代码。

2. 整理公共 API 并新增推理功能

本版本从公共头文件中移除了 35 个已弃用函数和用于准备首次运行的预热函数,也移除了内存碎片化阈值设置,即控制内存分裂为小块这一现象的阈值设置。用于推测解码,即预先提出下一步输出并进行验证的生成方式的 API,从辅助头文件移到了主头文件。直接调用现有 API 的产品可先检查是否使用了被移除的函数。

对于混合专家模型,即选择多个专门处理单元来工作的模型,新增了将分担任务的专家部分保存在主内存中的缓存。用户可调整缓存大小,以及所需专家不在缓存中时由 CPU 处理的比例,从而拥有更多分配模型运行资源的选择。

3. 扩大模型与硬件支持范围

本次发布新增了三种文本模型架构和语音合成模型支持。新增文本模型包括 Kimi-K3.1-Pro 和 Ripple-65B-Preview。根据开发团队的公告,目前支持的模型架构变体已超过 150 个。

语音和图像处理范围也有所扩大。新增了对 Gemma 4 流式语音输入的支持,以及 MageVL-Cowork 等图像处理模型。这些变化可供将语音、图像与文本对话结合的产品利用。

负责在不同硬件上执行计算的后端,可以构建为动态库,即在运行时加载的共享代码文件,并按需加载。本次还改进了多个后端的计算路径,包括 CUDA 和 Metal 的量化矩阵运算,即以较低精度计算矩阵的方式。两篇原文均未提供可用于比较改进幅度的性能测量数据。

4. 服务器安全与使用流程变化

llama-server 修复了可被滥用以使服务器向非预期地址发送请求的问题,以及浏览器直接访问子实例等问题。新增了显式允许未经认证使用工具,以及访问私有地址媒体的设置;私有地址指无法从公共互联网直接访问的地址。

用于连接外部工具的 MCP 调用,即使用外部工具连接协议的调用,会在客户端断开连接或超时时被取消,同时通知工具服务器。

服务器进入休眠的时机也作了调整。请求使用服务器状态期间,服务器不会进入休眠状态。

服务器新增了兼容 OpenAI 的语音合成 API。

网页界面支持将对话归入具名分组,并在编辑长消息时预览 Markdown,即用符号指定文档格式的语法。

5. 集成稳定性与迁移成本

版本规则与支持范围的扩大有助于维护集成和引入新模型。相应地,本次迁移需要检查已移除或重命名的 API,并针对部分图像模型更严格的加载条件,检查模型文件和加载路径。

希望调整运行设置的用户,也可以选择以 8 位浮点格式存储键值缓存。发布说明给出的相关选项写法如下。

-ctk/-ctv f8_e4m3

博客介绍了面向主要桌面和移动操作系统的预发布构建,以及容器和软件包分发渠道。用户可以确认适合现有安装方式的渠道;如果直接集成了 API,则可将调用代码检查纳入升级流程。

v1.0.0 的核心在于,在扩展功能的同时,通过版本号呈现兼容性变化,为集成开发者评估升级影响确立依据。