SGLang v0.5.21：扩展新模型支持，调整缓存与请求处理默认行为

1. 新模型与服务器角色切换

发行说明将 DeepSeek-V4.1 Flash 和 GigaChat 3.5 列为新增模型。这次支持范围的扩展，让用户可以在现有服务器工具中评估新模型。

扩散模型列表新增了 DiffusionGemma 和 Qwen-Image 2.1 等。本次支持扩展不仅涉及语言及视觉语言模型，也包括扩散模型。

还新增了无需重启即可在服务器的输入准备阶段与回答生成阶段之间切换角色的功能。在分开运行这两个阶段的环境中，服务器可在运行时切换角色。

新增的 Score API 可在一次请求中为多个候选项评分。另外，Decisions API 可将语言及视觉语言模型用作低延迟分类器和评分器。这使服务器的用途从生成回答扩展到其他判定任务。

2. 支持名单与安装说明的差异

发行说明提供的升级命令如下。

uv pip install --prerelease=allow sglang==0.5.21

不过，模型部署文档仍说明该模型支持尚未纳入发行版，并推荐使用面向 NVIDIA 的预览镜像 lmsysorg/sglang:dev-dsv41。这与明确宣布新增支持的发行说明不一致。现有资料没有提供依据，足以断定仅凭此命令就能保证模型部署成功。

部署文档引导用户根据硬件和用途选择经过验证的组合。文档区分了面向单用户快速响应的配置与提高多用户总吞吐量的配置，因此除了模型名称，还应确认所选配置的容器镜像。

3. 思考过程分离与工具调用

要将模型生成的思考过程与最终答案分开，需要启用相应的解析器。解析器用于分离已生成的内容，并不是开启思考本身的开关。思考默认关闭，在请求中为 reasoning_effort 传入 none 以外的值即可开启。

工具调用也需要专用解析器。该模型的工具调用标签包含空格，现有检测器无法解析。如果回答正文中出现标签而非结构化调用，可以先检查解析器设置。

4. 快速响应与腾出内存的代价

DSpark 是模型内置的草稿生成功能。它通过先预测再验证回答片段来加速交互任务，但单次执行成本较高，因此加速幅度并不与草稿长度成正比。文档说明，数学、代码与自由对话的接受率不同，而采用大批量处理的高吞吐量配置会关闭此功能。

可选的记忆表迁移功能会将 GPU 上的表移至主机内存，为保存先前计算结果的 KV 缓存腾出空间。文档称，迁移本身不会改变输出比特。但这会增加主机内存占用和加载时间，而且需要大内存页来高效汇集数据。

前缀缓存的可选替换策略也有附带条件的改进数据。在回放智能体任务记录、并发数设为 32 的测试中，使用 DeepSeek-V4-Pro 的 4 比特配置和 4 个 B300 时，词元间延迟的第 99 百分位数降低了 43.9%。该数值表示最慢 1% 响应间隔的分界，不能将其解读为新模型的一般提速幅度。

5. 现有服务应检查的默认设置

复用重复输入前缀计算结果的前缀缓存，现已默认采用 Rust 核心。不支持的配置会自动回退到 Python。改变的是在请求共享前缀时复用结果的缓存默认实现，并不意味着替换整个服务器。

在请求中传入聊天模板本身的行为，现在也默认被拒绝。只有在服务器上启用信任选项才会允许，其他模板参数保持不变。如果现有客户端在每次请求中都传入模板，就应将其纳入升级测试。

为保证数值准确性，FlashInfer 的混合专家运算后处理默认关闭。代价是权重和激活值均采用 4 比特的运算延迟略有增加。不应将与准确性有关的默认设置变更仅仅视为性能退步。

本版本在增加模型选择的同时，也改变了运行默认设置，因此值得将新模型测试与现有请求的兼容性检查分开进行。