Strata 0.1.45：Qwen3.6-35B-A3B…

本地语言模型运行工具 Strata 为支持的模型新增了图像输入和最多 8 个请求的并发处理。连接多名用户或多个智能体的开发者有了更多选择，回答生成速度也有所提升，但收益取决于显存余量。

1. 在安装过程中选择图像输入

2026年10月17日发布的这个版本为 Qwen3.6-35B-A3B 新增了图像输入。安装时选择使用图像后，会下载用于将图像接入模型的 0.9 GB 文件，并写入配置。

开发团队使用相同图像和输入词元，与 llama.cpp 进行了比较。固定对比对象的回答并检查下一个词元时，6 个案例中有 5 个的首个词元相同。其余 1 个输入两张图像的案例在候选得分几乎相同的位置出现分歧，但团队表示，对测试图像生成的回答语句相同。

在显存低于 24 GB 的 NVIDIA 显卡上启用图像时，现在会选择 CPU 编码器。每张图像转换为模型输入需要 4~6 秒，最多读取为 300 个词元，但该过程不占用显存。现有配置不会改变。

安装时通过 --parallel N 设置并发请求数，对应配置文件中的 "parallel": N。槽位可以理解为同时进行对话的位置。安装程序会根据内存和所选上下文长度推荐数量，按 Enter 则保持一次处理一个请求。

系统将每个对话的一个词元合并处理，因此只需读取一次公共模型权重和各对话共享的专家权重。这里的专家指模型中按需使用的计算部分。开发团队表示，已测试 2·4·8 个槽位、槽位复用及长输入的并行处理，各对话生成的词元均与单独运行时相同。

开发团队的测量值。在 R9700 32 GB 上将全部专家权重放入显存，每个请求生成 128 个新词元，并与 llama.cpp 的 llama-server -np N -fa on 交替比较五组。提升为 1.14～1.61 倍，每种请求数下五组均为 Strata 更快。

按并发请求数的生成速度 (tok/s)

如果显存能容纳全部专家权重，安装程序会建议最多 3~4 个槽位。否则，对话所需空间会挤占专家缓存，即就近存放权重的空间。需要同时权衡多个请求一起推进的收益与单个请求速度下降的代价。

在 RTX 3060 12 GB 上以 8K 上下文、4 个请求进行测试时，并发处理性能为利用草稿层预先预测词元、逐个处理请求的方式的 1.15 倍。在相同槽位设置下，仅运行一个请求时速度下降了 4%。因此，提高并发请求数不同于让单个对话更快的设置。

解码是依次生成回答词元的过程。新计算内核在使用实际内部数值进行的 18,360 次比较中，与原内核不存在位级差异。一次读取的输入批次也根据内存增大为默认的 4096·2048·1024 个词元。

使用 R9700 32 GB 和 UD-Q4_K_XL 模型格式时，回答生成速度从每秒 83.2 个词元提升至 117.8 个词元，达到 1.42 倍，交替测量的五组结果均有改善。相同条件下，4K 输入读取速度从每秒 3,453 个词元提升至 6,220 个词元，达到 1.80 倍。

相比之下，在 CPU 成为瓶颈的混合运行模式下，RTX 3060 12 GB 的回答生成和输入读取速度仅分别提升了 2% 和 3%。因此，很难将前一张显卡的提升倍数作为其他设备的预期。

短于输入批次的提示词不受影响，但长提示词的输出可能因批次大小变化而略有不同。以下是原文给出的恢复至原先 512 个词元大小的选项。

--prefill 512

面向使用多个 GPU 的服务器，还提供了超过 8 个槽位以及复制、中间状态存储优化。这些服务器功能需要手动启用，默认值不变。它们是独立于常规最多 8 个并发请求支持的可选功能。

该模型尚未在 Windows 实机、Intel Arc、RTX 5070 上进行验证。虽然 Windows AMD 的模型识别问题已修复，但这不意味着已完成该环境下的验证。

更新时，Windows 运行 UPDATE.bat，Linux 运行 ./update.sh，安装过程会替换引擎。