Unsloth 支持在自己的电脑上运行新的大型人工智能模型，并减轻了编码助手重新计算历史对话的负担。对于希望借助本地模型自动化开发工作的人来说，选择更多了，但所需内存和实际响应等待时间仍需分别考察。

1. 可在本地运行的模型增多了

2026年10月15日发布的 Unsloth v0.1.908-beta 支持英伟达和 Meta 的新模型。这一版本不仅增加了模型，还改进了编码智能体处理重复请求的方式。

Nemotron 3.5 Bolt 拥有740亿个参数，其中90亿个参与计算；参数是构成模型的数值。它支持文本、图像、视频输入和工具调用，一次可处理的上下文最多为128K个 token。token 是模型处理文本的单位。

其原型模型 Nemotron 3.5 Super VL 面向文档理解、计算机操作和长时间运行的智能体。发行说明称，在输入100K个 token 时，它保持了与 Inkling Small 相近的智能水平，生成速度则约为其5倍。

Meta 的 Muse Spark Open 接受文本、图像、视频和音频输入。其总参数为8160亿个，约激活427亿个，并标明在2比特量化下需要约256GB内存。量化是用较少比特存储模型数值的方法。

2. 缓存复用历史对话的计算

提示缓存会保留已处理对话的计算结果，以供下次请求复用。根据发行说明，将 Claude Code 连接到本地 GGUF 模型时，后续对话的重复处理会减少。这里的 GGUF 是用于本地运行的模型文件格式。

修复列表包括保留插入对话中间的 Anthropic 系统消息的位置，以便在新会话中复用缓存；系统消息即给模型的指令。Messages API 和 Responses API 也会报告缓存命中情况，即是否复用了已保存的计算。

官方表示，新 Claude Code 会话的首个响应开始速度最高提升至4倍。这并不意味着整个响应的生成速度达到4倍。前述生成速度与此处响应开始数据的测试设备、详细对比条件，以及后续对话重复处理的减少比例均未公布。因此，不能将这些数据套用于其他编码工具的所有请求。

3. 从应用开始，或通过 API 连接

Bolt 官方指南介绍了在 Unsloth Desktop 中搜索模型、下载所需量化文件并开始对话的流程。推理设置会自动配置，指南建议上下文长度从4K个 token 起步，在内存允许的情况下最多增加至128K个 token。

如需连接其他应用程序，可使用以下原文示例启动 API 服务器。该示例将上下文长度设为4096、并行处理数设为1，并设置了同一台电脑上的访问地址和端口。

unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
    --host 127.0.0.1 --port 8001

4. 能运行所需容量不等于充裕内存

Bolt 的2比特文件下载大小为22GB，指南估计短上下文下最低需要24~32GB内存。不能只看发行摘要中的24GB，而应以正文和指南给出的约32GB为基准准备。48~64GB则被列为更宽裕的配置。

较小的文件降低了本地运行的门槛，但长上下文及图像、视频输入需要额外内存，用于保存计算的缓存和连接视觉输入的转换器。Bolt 还默认使用辅助模型加速输出，额外需要约1~2GB；不过，根据发行说明，可在设置中关闭。

此次发布同时扩展了本地模型选择并改进了对话计算复用，但是否采用，应依据任务所需的内存余量和响应开始延迟，而不是最低容量。