面向本地运行语言模型用户的 Strata 0.2.12 已发布。它加快了部分显卡和 Mac 读取长输入的速度,并修复了调用外部工具请求的处理错误。使用 12GB 级显卡的用户可减少输入等待,接入工具的开发者则能更稳定地处理从多个工具中指定一个的请求。

1. 调整了预判下一个词的辅助模型

核心是自行调优的 DFlash2 草稿模型,它通过预判主模型将生成的下一个词来辅助输出。

自动模式选择该模型的范围扩大至 Mac、Strix Halo、英特尔 Arc A 系列及部分英伟达显卡等。在 Mac 上,两种受支持的量化模型,即压缩存储体积的模型,默认选用这一辅助模型。

对于 12GB 级英伟达显卡,UD-IQ4_XS-v31 会自动采用调优版。Linux 上还修复了将引擎已用内存误算为空闲空间的问题,减少了转入较慢文件缓存路径的情况。输入加速不仅涉及辅助模型的选择,也包含这项内存处理变更。

2. 12GB 显卡的输入吞吐量,即单位时间内的处理量,增至约三倍

开发团队在各设备上将旧版 0.2.11 与新候选版对比了 2~3 次。每次运行均重启引擎并调整运行顺序,以每次选取最高概率 token 的方式生成 300 个 token 的回答。测试使用各版本针对设备保存的配置,因此也包含了新辅助模型选择的影响。

据开发团队公布的数据,RTX 3060 12GB 上 UD-IQ4_XS-v31 的 2K 输入吞吐量从每秒 87 个 token 增至 264 个 token。同一组合的 32K 输入从每秒 361 个 token 增至 981 个 token。这一变化不仅有助于缩短短输入的读取等待,也有助于缩短长输入的等待。

在 Windows 版 Strix Halo 上,据开发团队公布的数据,UD-Q4_K_XL 的 4K 输入从每秒 597 个 token 增至 1,267 个 token。该环境还启用了两项独立的优化:用于 UD-Q4_K_XL 和 UD-IQ4_XS-v31 的 Q5_0 层的融合提示内核,以及分组解码内核。

在 Mac M5 Max 上,据开发团队公布的数据,UD-Q4_K_XL 的 4K 输入从每秒 1,406 个 token 增至 1,605 个 token。将测试任务的输出速度用反映比例变化的几何平均数汇总后,同一模型的输出速度提高了 12.7%。Mac 的输入处理路径也已调整,使 CPU 工作与图形运算能够重叠进行。

3. 修正了从多个工具中指定一个的请求

据开发团队公布的数据,在声明多个工具后强制选择特定工具的测试中,成功次数从旧版的 24 次中 0 次变为 24 次中 24 次。这项修复直接关系到那些虽指定使用工具却未实际执行的请求。

Claude Desktop 传入的模型名称现已修正为映射到当前加载的模型。

现在也能识别更多种工具调用起始标签。对于外部工具连接协议 MCP 的工具名称,即使只给出末尾部分,只要恰好有一个工具以该部分结尾,就会进行匹配。

Anthropic 格式的工具结果会依据调用标识符,即区分工具调用的值,关联到原始请求。

未声明的工具调用默认以文本返回,但用户也可以选择以调用形式接收。

4. 输出性能的增减因任务而异

据开发团队公布的数据,RTX 3060 12GB 与 UD-IQ4_XS-v31 组合在各类任务中的输出变化如下。对于经常使用代码生成和智能体,即选择工具执行任务的程序的用户,不仅输入处理有提升,输出也有收益。

表:同一显卡与模型在各类任务中的输出速度变化

条件:RTX 3060 12GB、UD-IQ4_XS-v31、0.2.12 候选版对比 0.2.11、运行 2~3 次、每次重启引擎并交替版本运行顺序、选择最高概率 token 生成 300 个 token、采用各版本的设备配置

单位:%

输出性能的增减因任务而异
任务输出速度变化
代码生成+37
智能体+34
JSON 提取-18.9

据开发团队公布的数据,Strix Halo 上 UD-IQ4_XS-v31 的工具调用速度下降了 9.5%;开发团队解释测量结果时表示,这一损失由调优后的辅助模型导致。

这组性能对比来自新候选版,并非在最终引擎包上重新测得;此后的引擎源码变更仅涉及版本号和两项旧款英伟达显卡的构建修复。

5. 在应用或终端中更新

可在应用内更新,或在终端运行以下命令。应用与终端的版本为 0.2.12,控制组件与引擎包的版本为 0.1.58。

strata update

调优版会在自动模式首次需要时下载一次。自动选择减少了手动配置的麻烦,但需额外下载文件,普通版为 0.34GB,英特尔 Arc 版为 0.52GB。无网络时会使用标准辅助模型或原有预测方式;手动选择原有预测方式则不会下载调优版。

Strata 0.2.12 改善了输入等待和工具连接,判断是否采用时,应关注常用任务的性能变化,而非最高速度。