TensorRT-LLM 是 NVIDIA 用于运行大语言模型推理并响应服务请求的软件。1.3.0 将运行基础统一为 PyTorch,并通过同一套服务工具提供图像和视频生成功能。对于将模型接入服务的开发者,可选范围已从文本推理扩展至生成模型。
1. 不再构建引擎,统一使用 PyTorch 运行
本版本移除了预先构建引擎再运行的基础架构,统一了运行方式。引擎构建命令及相关配置对象也已移除,Triton 后端模型仅保留 llmapi。
原有的 C++ 执行器 API 也已移除。用于管理运行环境的旧版运行时 API,以及将请求成批处理的批处理管理器 API 同样被移除。针对旧引擎或 C++ 执行器设计的部署自动化流程需要迁移至 PyTorch 运行方式。
用于选择下一个 token 的采样器仅支持依赖 FlashInfer 的 TorchSampler。不再选择旧采样器,而是统一使用这一组合。
TensorRT 和 ONNX 不再是必需依赖项,减少了安装和运行所需的外部组件。
据公司介绍,异步处理输入准备工作,并消除在拆分探索候选句子的束搜索中的同步操作,降低了 CPU 端的额外处理开销。
据公司介绍,提前读取检查点数据的预读功能缩短了启动时间。这与降低运行时处理开销的改进有所区别。
2. 扩展新模型与现有 GPU 的应用范围
DeepSeek-V4 和 Kimi K3 已加入 Blackwell 及处于预览阶段的 Rubin 支持列表。Qwen3.5 则也支持 Hopper,为利用现有 GPU 提供了路径。Kimi K3 还支持同时处理多种输入形式的多模态功能,以及跨多个节点的服务部署。
Rubin 支持以在 Vera Rubin 上验证过的预览版形式提供。这是面向下一代硬件部署试验阶段的支持。
量化是降低数值表示精度的方法。本次通过 Marlin 支持 W4A16 NVFP4 方式,仅将模型学到的数值信息,即权重,以低精度存储。通过这一路径,NVFP4 权重检查点也可在 Hopper 和 Ada Lovelace 上运行。与面向新硬件的预览支持不同,这是在现有 GPU 上利用 NVFP4 检查点的路径。
MoE 从模型的多个子神经网络中选择部分进行计算,现支持最多 2048 个专家网络。
此外,还新增了返回每个 token 被分配给哪个专家网络进行计算的功能。这些信息可用于根据奖励学习行为的强化学习。
3. 扩展 API 接入与分离式服务部署选项
新增 Anthropic Messages API,并扩展了 Responses API。在 OpenAI 兼容 API 中,可为每个请求指定优先级和要调用的函数。
还新增了 gRPC 远程调用服务器,以及接收并转发请求的多进程 HTTP 前端。
将输入处理与输出生成分开执行的分离式服务部署新增了生成优先调度,以及汇集同一对话请求的路由功能。KV 缓存用于保存先前输入的计算信息,以便后续生成时复用。本版本还新增了按对话复用缓存块的功能。API 扩展拓宽了服务的接入规范,而按对话路由和缓存块复用则影响内部处理配置,用于汇集连续对话的请求并利用先前的计算结果。
具有共同开头的输入会由默认启用的前缀感知调度处理。它可避免对共享前缀进行重复输入处理,因此变化不仅涉及 API 类型,也涉及处理重复输入的行为。
对于仅编码器模型,即仅使用将输入转换为向量部分的模型,现提供嵌入 API 和 llm.encode() 快速路径。提供搜索嵌入的服务也在此次扩展范围内。
4. 图像与视频生成也纳入同一服务体系
VisualGen 是面向图像和视频生成模型的功能集合,与 LLM 推理一起通过 trtllm-serve 提供。图像生成、编辑及视频生成分别新增了接口,可在使用同一套服务工具的同时,根据服务提供的生成任务配置调用路径。
图像模型新增了 FLUX.1 和 FLUX.2,视频模型新增了 Wan 2.2 和 LTX-2 等。除了文本响应,还能通过接口提供图像编辑和视频生成,拓宽了服务配置的范围。
5. 升级先检查配置优先级与默认值
运行基础方面,TensorRT 后端已移除,仅保留 PyTorch。Triton 中基于 TensorRT 引擎的模型也已移除,只能使用 llmapi 模型。
在服务部署、评估和基准测试命令中显式指定的标志,即运行命令时赋值的选项,如今优先于 YAML 配置值。即使部署复用同一配置文件,也需要先检查运行命令中指定的值。
KV 缓存传输新增了默认 60 秒的等待时限,此前没有超时限制。因此,当传输延迟时,请求处理将从无限等待改为应用规定的等待时限。
与这一传输等待时限无关,请求配置中的 logprobs 和 prompt_logprobs 超过 100 时会报错。这是该请求允许的配置值上限,而非处理速度限制。
每个请求的对话模板必须显式允许后才能使用。
使用遥测,即收集并发送使用情况的监测信息,默认启用。以下是原文提供的关闭方法,任选其一即可。
TRTLLM_NO_USAGE_STATS=1
DO_NOT_TRACK=1
--no-telemetry
telemetry_config=TelemetryConfig(disabled=True)已知问题包括:通过 NVIDIA Model Optimizer 以静态量化方式,即在转换时预先降低精度,导出的 FLUX.1 检查点可能初始化失败。Responses API 在部分输入格式、对话续接和工具调用方面也仍存在兼容性缺口。
判断是否采用本次版本,更适合从现有部署路径能否顺利适应向 PyTorch 的转变入手,而不是着眼于增加的模型列表。
