Ollama 新版本降低了苹果芯片设备上特定模型的内存负担,并改变了响应 API 默认静默截断输入的行为。运行本地模型的开发者可以关注内存余量,接入服务的开发者则可重点检查输入内容的保留情况。此外,还新增了面向 ARM 架构 Windows 设备的图形计算支持。

1. 降低 Apple silicon 上的内存负担

据公司发布的信息,在 11月9日发布的 v0.40.16 中,Qwen3.8 Flash Next 在苹果芯片设备上的内存占用减少约 27 GiB。这意味着运行模型所需的内存空间有所减少,是选择运行环境时值得关注的一项主要变化。

内存是加载模型的工作空间,因此占用减少可视为缓解同一设备空间限制的变化。对于需要兼顾模型运行与其他任务的用户,这次内存降幅值得从不同于速度提升的角度加以考量。

公告未提供测试机型、模型配置以及优化前后的总内存占用,因此仅凭 27 GiB 这一降幅,难以判断特定设备能否运行该模型。

2. 响应 API 默认不再静默截断输入

/v1/responses 现在遵循决定是否截断输入的 truncation 设置,默认不再静默截断输入。这改变了以往不作提示便删去用户请求部分内容的行为,让服务更容易检查输入处理方式是否符合预期。

对开发者而言,好处是减少输入内容被意外遗漏的情况。与此同时,服务端更有必要检查以往交由默认行为处理的输入。检查重点也因此从依赖自动截断的便利,转向直接管理请求处理策略。

3. 为 Windows ARM 添加 CUDA 13.5 支持

此版本在 Windows on ARM 上支持 CUDA 13.5。对于希望在 ARM 架构 Windows 环境中利用图形计算运行模型的用户,这是一项值得关注的变化。如果说前述内存降幅关乎模型与内存空间,那么这一项则关乎运行平台支持。

发布文件列表中包含适用于 Windows ARM64 的 ollama-windows-arm64.zip。使用该环境的用户可以结合这一发布文件与新增的 CUDA 支持进行查看。

4. 接入服务需检查长输入与空模型列表

/v1/models 在没有已安装模型时,现在返回空列表而非 null。解析响应的客户端应确认能将无模型状态按空列表处理。

准备更新的服务可以将长输入请求和未安装模型的状态列为测试场景。分别检查如何处理输入,以及模型列表为空时显示什么,就能将此次 API 变更落实为实际的集成检查项。

5. 介绍 Ripple Preview 模型

此次发布还介绍了 Ricursive Intelligence 的 Ripple Preview。这是一款为执行开发任务的智能体打造的 650亿参数模型,采用全部参数参与计算、而非仅选用部分参数的稠密架构。以下是发布说明中的运行命令,可作为用户试用新模型的起点。

ollama run ripple-preview

Ollama v0.40.16 降低了本地运行的内存负担,拓展了平台选择,也让接入服务有机会重新审视输入处理策略。