Strata 0.2.9：DeepSeek 1比特模型选择，并行推理默认设置扩展

1. 1比特权重是不会改变默认模型的可选项

安装过程和启动命令中可选择Unsloth的UD-IQ1_S与UD-IQ1_M。权重是模型使用的数值数据，两者下载体积分别为241GB和258GB。若已有ISTA的Engram文件，可少下载约111GB，原有默认模型保持不变。

据开发团队公布，在61项任务测试中，两套1比特权重各通过53项，原有对照权重通过56项。对照对象为ISTA-DAS 2.25，其中35项任务使用了14000~30000 token的文档。每套权重各测量一次，每个token参与计算的专家模块数量为6个，即负责特定输入的模型组件数量。

按任务来看，较小的权重在摘要任务中8项全部通过，高于原有权重的7项；但信息提取任务通过13项中的11项，低于原有权重的13项。因此，结合总通过数和实际要执行的任务，更有助于选择。

2. 模型速度需结合显卡配置解读

开发团队使用四张Radeon AI PRO R9700测试了较小的权重和原有对照权重。较大的权重则使用两张RTX A6000测试。即使同为1比特选项，测量所用设备也不同。

据开发团队公布，UD-IQ1_S在四张R9700上每秒生成48~88 token，处理4K提示词的速度为每秒1,204~1,296 token。UD-IQ1_M在两张A6000上每秒生成41~82 token。这些数据来自使用开发团队自有测试文档各运行一次的结果。

各选项的收益与代价不同。复用已有文件可减轻下载负担，但任务通过数少于原有对照权重。在两张英特尔Arc Pro B65上，并行处理将8个并发请求的吞吐量从每秒42.1 token提高到53.8 token，但使批量处理请求的批处理服务器的单请求生成速度降低了2.7%。

3. Linux并行请求由用户启用后自动调优

在Linux英伟达环境中，将并发请求数设为2或以上，服务器便会自动应用9项并行处理相关设置。用户手动指定的环境变量或配置值优先，因此可保留现有调优值，同时使用新的默认行为。

据开发团队公布，在一张RTX PRO 5000上，向Qwen3.8 IQ3_S提交1,000 token提示词并要求输出128 token，同时处理8个请求时，速度为上一版本的1.45倍。上一版本为0.2.8，三次匹配条件的配对比较中，速度比为1.451~1.459。

同一测试中，单请求也加快了5.3%；通过选取最可能输出的方式检查的12个提示词，其回答与之前相同。这意味着公布的结果不仅涵盖接收多个请求的服务器，也包括每次只提交一个请求的用户。

4. 支持的显卡也默认加速了提示词处理

Linux英伟达环境中的Qwen3.8通过显卡的矩阵运算单元处理提示词计算，该单元可同时计算多个数值。据开发团队公布，RTX PRO 5000处理4K提示词加快了4.4%，长提示词加快了5.5~5.7%。RTX A4000处理16K加快了2.6%，32K加快了3.2%。

在Linux下，若所有Radeon显卡均属gfx12系列，则从64 token起使用分块处理提示词的内核，即执行显卡运算的程序。开发团队公布的各长度提升幅度如下，生成速度保持不变。

表：Linux gfx12 Radeon的提示词处理提升率

条件：Linux，所有Radeon显卡均属gfx12系列，从64 token起应用分块处理内核

单位：%

同一公告中，1K~3K提示词的提升幅度为1.7~3.2%。这一改动的效果集中在读取输入文档的阶段，而非回答生成本身。

5. 多张AMD显卡的利用方式从下次启动起改变

在Linux上使用多张AMD显卡运行DeepSeek时，若未单独指定显卡，就会利用引擎支持的显卡。即使安装时只选定并保存了一张显卡，下次启动也会使用多张，无需重新构建。如只想使用一张，可通过原文中的以下命令指定，选择会被保存。

strata launch --gpu N

开发团队的四张R9700测试中，载入显卡的专家模块从15,360个中的2,371个增加到12,147个。每个token参与计算的模块数也从6个变为运行器选择的5个，表明联合使用多张显卡显存的变化也体现在运行配置中。

DeepSeek即使在温度为0时，重复回答也可能不同。在为减少这种差异而关闭专家缓存的测试中，四张R9700上的生成速度下降了8~10%，单张下降了58%；专家缓存是为复用模块而进行的临时存储。

Strata 0.2.9的核心在于拓宽模型和处理方式的选择，是否采用应结合各项任务的质量及实际显卡、并发请求条件来判断。