Strata 在新版本中将显卡和 Mac 的模型运行引擎改为自研代码,并修复了部分 Apple 芯片的计算错误。使用本地模型的开发者可通过更新获取新引擎,现有模型、对话和设置均会保留。

1. 移除外部计算内核的新引擎

应用和终端版本为 0.2.16,各平台引擎及安装、更新程序版本为 0.1.62。新引擎以自研代码替代外部矩阵计算代码。

图像读取功能也改为自行实现。据 Strata 公布,NVIDIA 图像读取器文件从 53,864,888 字节缩小至 807,976 字节。

Strata 使用涵盖对话、代码、工具调用、长输入、中文、德文及图像的 10 个提示词,对比了新旧引擎的输出 token。据其测试,Tesla P100 和 Radeon R9700 各自的 10 项输出 token 均相同。

Strata 表示,Mac 的 M5 Max 在 10 项测试中的输出 token 也全部相同。这表明,在更换运行代码后,这些测试中的回答得以保持。

据 Strata 测试,RTX PRO 5000 和 Arc A750 各自对比的 9 项输出 token 均相同。但 Strata 表示,Windows 的 CUDA 12 引擎在新增专用代码的 RTX 5070 上,10 项中有 2 项回答不同。

长输入性能方面,据 Strata 公布,Tesla V100 处理 26,000 token 提示词的耗时从旧引擎的 17,464 毫秒降至 15,068 毫秒。相较引擎 0.1.58,耗时减少约 13.7%,能更快处理同等长度的输入。

同一公告中,RTX 2080 Ti 处理 26,000 token 的相对速度,以引擎 0.1.58 为基准,从上一版本的 0.885 提升至本次版本的 1.088。相较上一版本 0.2.15,速度提高约 22.9%,这与 V100 的耗时降幅属于不同指标。

表:长输入处理性能前后对比

条件:据 Strata 公布,输入为 26,000 token;V100 与引擎 0.1.58 对比;RTX 2080 Ti 比较各版本相对于 0.1.58 的速度

单位:V100 为毫秒,RTX 2080 Ti 为相对速度(无量纲)

移除外部计算内核的新引擎
设备此前对比对象此前本次
Tesla V100引擎 0.1.5817,46415,068
RTX 2080 Ti版本 0.2.150.8851.088

图表:Tesla V100 处理耗时 条件:据 Strata 公布,输入为 26,000 token,越低表示耗时越短 单位:毫秒

xychart-beta
    x-axis ["Engine 0.1.58", "Current"]
    y-axis "Processing time (milliseconds)" 0 --> 18000
    bar [17464, 15068]

图表:RTX 2080 Ti 相对速度 条件:据 Strata 公布,输入为 26,000 token,相对于引擎 0.1.58 的速度,越高越快 单位:相对速度(无量纲)

xychart-beta
    x-axis ["Release 0.2.15", "Current"]
    y-axis "Relative speed" 0 --> 1.2
    bar [0.885, 1.088]

2. 修复 M1~M4 上计算错误的层

上一版本运行 UD-Q4_K_XL 这类以低精度存储权重的模型时,部分层只计算了四分之一的列;在测量的某一层中,640 列只计算了 160 列。由于回答自然,很难从简短回复中察觉这一错误。

Strata 表示,修复对象为 M1~M4,M5 不受影响。

Strata 在 M5 Max 上强制使用旧计算内核(执行计算的底层代码),测量修复效果。KL 是表示两个预测概率分布差异的值。此处用于体现首个 token 的预测概率与同一设备默认运行路径的接近程度。

表:旧版 Mac 计算路径的修复效果

条件:据 Strata 公布,在 M5 Max 上强制使用旧内核,使用 6 个长度为 512~8,192 token 的提示词,与同一设备的默认路径对比

单位:KL 差异为无量纲,最高概率 token 不一致为提示词数量(个)

修复 M1~M4 上计算错误的层
项目修复前修复后
首个 token 的 KL 差异0.3030.0068
最高概率 token 不一致31

在相同条件下,预测概率差异和最高概率 token 不同的提示词数量均有所减少。这一案例说明,比起表面自然的回答,直接对照计算结果的测试更为重要。

Mac 应用和引擎的最低操作系统要求改为 macOS 15.0。此前发布的文件要求 macOS 27.2。

UD-IQ1_M 模型输出无意义字符的问题也已修复。

据 Strata 公布,在 4 轮测试中,请求之间的 Metal(Apple 的图形与计算技术)内存增量从 16.9GB 降至 0.23GB。

3. 缓解启动失败与内存导致的退出

Windows 上修复了部分无系统查询权限的账户在启动约 5 秒后退出的问题。Strata 表示,Strix Halo 在修复前的三次启动测试中均失败,修复后处理聊天、工具调用和图像的运行在 73 秒内给出了响应。

默认 PowerShell 中无法执行 strata 命令的问题也已修复。

针对 Ubuntu 的内存保护功能在读取大型模型时终止运行的问题,现会先释放模型旧文件副本占用的内存,并在内存不足时暂停引擎。

据 Strata 公布,在内存为 62GiB 的 Tesla P100 PC 上,同时打开其他程序时,修复前 5 次全部失败,修复后 7 次中成功 6 次。在其他程序占用 12GiB 的条件下,4 次中成功 3 次。

准备时间也有所缩短。据 Strata 公布,在 RTX 5070 PC 上,应用首次系统检查从 23 秒缩短至约 2 秒。

Strata 表示,在 NVIDIA Blackwell 上,CUDA 12 引擎的首次响应从 173.0 秒缩短至 0.34 秒。

4. 确认内存余量与各设备的测试范围

Windows 上,Strix Halo 或页面文件(将磁盘用作内存的空间)较小的 PC 达到内存与页面文件的总上限时,引擎可能无提示退出。Ubuntu 系统在可用内存较少时,模型加载也可能被终止。旧款 Apple 芯片实机及部分平台变更尚未测试。

5. 获取新引擎并保留现有数据

除改用自研代码外,此次还修复了运行稳定性问题。更新时需要下载对应平台的新引擎。Linux 上 Tesla P100 的安装方式从自行编译改为下载已构建的引擎,减轻了本地构建负担。

普通终端用户可使用以下命令更新。如果 Windows 用户此前遇到旧版本启动崩溃且引擎未更新,官方指引是再次执行同一命令。

strata update

应用用户可使用内置更新功能或新安装文件。从仓库副本构建的开发者需要适配引擎路径已移至 engine/ 这一变化。

Strata 0.2.16 的核心在于改用自研引擎并修复计算错误,为本地运行打好基础。