Strata 0.2.11：支持 Unsloth 量化，多卡拆分

1. 在应用和终端中使用七种新量化

本版本支持 Unsloth 于 11月4日重新上传的七种 Dynamic v3.1 量化文件。目标模型为 Qwen3.8-Flash-Next，可在应用和终端中下载、准备并运行，也可加载自行下载的文件。

各套文件的下载大小如下。文件依据指定修订版本的大小及 SHA-256 校验值进行核验，后者是文件内容的摘要值。

表：新支持量化套件的下载大小

条件：Unsloth 的 Qwen3.8-Flash-Next，修订版本 d9620119，各套件的全部下载文件

单位：下载大小为 GB

每套的最后一个文件都是模型处理每个词元时读取的 28.8GB 表。新的 UD-IQ4_XS-v31 与原有 UD-IQ4_XS 在文件组成及张量类型上不同，因此单独提供，原有套件保持不变。张量即多维数值数组。

在终端中，将以下命令的模型名称替换为所需套件。

strata launch --family unsloth --model <name>

2. 四张 Radeon 共同计算模型的每一层

在 Linux 上使用四张 Radeon AI PRO R9700 运行 IQ3_S 系列时，自动选择会采用新的拆分引擎。按层拆分让各卡负责不同层，而新引擎把每一层的计算分配给所有显卡。两卡和三卡配置仍保持原有的按层拆分方式。

据开发团队公布，在相同四卡配置及 UD-Q4_K_XL 下，8人同时使用的合计回答生成速度比 0.2.10 软件包提高了 32.7%。原有两次测量为每秒 276.3、263.3 词元，新引擎为 358.4、357.4 词元。单人使用时提升 6.9%，处理两个约 103K 词元的提示词，即发给模型的输入文本时，耗时改善了 8.1%。

此比较包含两组配对测试，交替运行原有软件包和替换了引擎文件的软件包，每次运行均重新启动。新引擎将默认并发请求处理位置，即请求槽位，从 6个增至 8个，并调整了卡间的归约处理。

3. NVIDIA 在量化状态下计算输入

在 NVIDIA 计算能力，即 GPU 指令支持级别为 8.0 及以上的显卡上，Unsloth UD-Q4/Q5/Q6_K_XL 文件默认启用 K 量化整数运算内核，即执行 GPU 计算的程序。它直接使用针对压缩权重的运算，而非像此前那样，将模型学到的计算数值即权重转换为 16位数后计算。

RTX PRO 6000 测量中的输入处理速度如下提升。测试开启了 MTP，即通过预先猜测后续词元来辅助验证的功能，并将模型的专门计算部分，即专家，全部放在显卡上。

表：RTX PRO 6000 的提示词处理速度

条件：RTX PRO 6000(sm_120)，UD-Q4_K_XL，全部专家常驻显卡，MTP，上下文 131072，每个单元格为 4次请求的中位数，2轮交替运行，每轮对各路径重新启动引擎

单位：词元/秒

据开发团队公布，32K 输入的提升幅度为 32.6%。回答生成速度并未因这次内核调整而改变。由于改进发生在读取输入阶段，用户可期待的变化也在发送长问题后、回答开始前的处理过程。

4. 可用较少显存启动，但长输入处理较慢

在显存余量较少的多张 NVIDIA 显卡上采用按层拆分时，若显存不足，会逐步减少显卡上的权重和辅助模型等以完成启动。这一过程不会缩小用户设定的上下文大小，即模型可参考的输入长度上限。

开发团队没有使用实际的小显存卡，而是将两张 RTX PRO 6000 的剩余显存分别限制为 8GB 进行测试。测试在 Linux 上使用 Qwen3.8 IQ3_S、128K 上下文、记录词元间关系的注意力状态的 8位存储，以及自动推测模型选择。旧版本产品的六次启动均失败，新方式则成功启动，并在引擎测试中用 14.5秒处理了 32K 输入。

收益在于较少显存也能启动运行，代价则是长输入的处理耗时。开发团队给出的小显存卡配置输入速度为每秒 1000~2200 词元，低于大显存卡配置的 6000~7000 词元。面向小显存卡的输入处理路径目前仍只利用一张显卡。

5. 更新后同时关注输入处理和回答变化

应用可通过内置更新或新的安装文件升级。终端更新命令会同时更新控制组件与引擎，并保留旧引擎以便回退。

上述性能数据主要来自基于发布源码构建的版本，以及替换了引擎文件的软件包，并非在正式引擎包上重新测量的结果。开发团队也提醒，内核和输入批次大小导致的舍入差异，可能使部分智能体问题的首次回答发生变化。

Strata 0.2.11 的核心是更便捷地运行新量化文件、更广泛地利用显卡配置，同时将输入处理的改善与回答生成速度分开看待。