NVIDIA Nemotron 3.5 Super VL 120B-A12B：100万 token 混合 MoE，内置 MTP 推测解码

1. 先选用途，而非精度

此次发布的是 NVIDIA Nemotron 3.5 Super VL 120B-A12B。三份模型卡标注的发布日期为2026年10月15日，商业与非商业使用均遵循 OpenMDW 1.1 许可证。

BF16 是用于定制训练和基准评估的权重。NVFP4 则是通过降低数值表示精度的量化方式，减少内存需求的部署版本。

Base-BF16 是自行开展后训练的起点。基础模型卡也建议，聊天、推理和工具调用应使用经过后训练的部署版本。因此，不能将这三个版本简单视为三个精度档位。

2. 长上下文容量与计算规模并不相同

模型融合了 Mamba-2、注意力机制，以及仅选择所需专家子网络参与计算的 MoE，并连接视觉输入处理模块。总参数量为1200亿，计算时激活的参数量则为120亿。

最大上下文为100万 token。token 是模型处理的输入、输出片段，问题、视觉输入、对话记录、工具结果和生成回答共用一个窗口。若文档占满窗口，留给回答的空间也会减少。

这一容量是模型上限，而非部署配置的保证。模型卡指出，内存与并发处理量可能要求缩小窗口，DGX Spark 的一个配置示例实际使用了131,072个 token。

3. 提前生成的功能不等于速度保证

多 token 预测 MTP 会递归预测后续 token。利用该功能的推测解码，可以理解为先生成回答草稿，再进行验证。

使用 vLLM 和 SGLang 内置预测功能的部署示例，无需另行下载草稿模型。

不过，DGX Spark 建议使用独立的草稿模型 LiLiCorr。

模型卡未给出推测解码的具体加速数值，并说明性能会随设备、请求长度和并发处理量而变化。与常规生成比较时，应固定模型、任务、采样和其余服务器配置，仅移除推测配置。

4. 统筹输入与输出预算

输入支持文本、图像及最长2分钟的视频，输出为文本。文档可通过页面图像和文本输入。视频示例按每秒2帧提取，最多256帧；对于1080p视频，建议每秒1帧、最多128帧。

推理过程生成由聊天模板中的 enable_thinking 开关控制。推理 token 与最终回答共用 max_tokens 预算，因此仅按回答长度设定预算，可能导致额度不足。

完成模型卡中的服务器启动步骤后，可用以下原文命令确认 API 是否响应。这只是检查模型列表，并非评估实际任务质量。

curl --fail http://localhost:8000/v1/models

5. 减少设备仍需逐项验证任务质量

基准版部署表列出4块 H100 的配置，量化版则列出2块同系列设备的配置。这体现的是部署选项差异，并不保证两者具有相同吞吐量。

量化版模型卡中的评估固定了权重以外的配置、评估工具和参数。从基准版切换到量化版后，Terminal-Bench 2.1 从66.70降至60.80，DeepSWE 离线评估从24.65降至18.2。

相同条件下，GPQA-Diamond 从89.52升至89.90，AA-Omniscience 幻觉率从30.0降至27.7。降低内存负担的收益伴随着验证各任务质量变化的负担，因此很难认定性能得到了一致保持。

部分视觉评估项目尚未整合到公开评估工具中。模型卡说明，这些项目使用了官方实现或未来将公开的内部评估工具，表明其复现路径也有所不同。

此次发布的选择标准，不应只是最大上下文，而是要兼顾训练目的、实际部署条件与具体任务质量。