英伟达发布了用于优化 AI 模型 GPU 推理的 TensorRT 11.5。在 ARM 服务器上,一次构建的执行引擎可跨多个 GPU 世代复用;在 Windows ARM 设备上则新增了 GB300 支持,为开发者提供更多硬件选择。
1. 将 CUDA 13.5 作为默认开发环境
TensorRT 的默认 CUDA 版本已改为 13.5。对于使用 CUDA 配置 GPU 运行环境、使用 TensorRT 部署模型的开发者,此次更新首先影响构建配置。GitHub 发布说明指出了默认版本的变化,官方发行说明则指引用户在支持表中查看各平台支持的版本。
自行构建插件时,需按 C++20 准备源代码。原因是 PLUGIN_VALIDATE 中面向旧 C++17 环境的替代路径已被移除;该宏会在编译过程中展开为代码。因此,除了运行已生成的引擎,编译自定义扩展所用的开发环境也需要检查迁移事宜。
2. 将 GB300 支持扩展至 Windows ARM 设备
Windows on ARM 新增了 GB300 测试版支持。支持的精度与使用相同 GPU 计算能力的 x86-64 环境一致。模型数值的表示方式涵盖 FP32,以及 FP8、FP4 等以较少位数表示数值的格式。
此次变化针对 GB300 的 GPU 执行路径。GB300 没有独立的深度学习计算单元 DLA,因此开发者在评估采用方案时,可着重关注实际使用的 GPU 和构建工具的支持情况,而非其他配备 DLA 的 ARM 设备的限制。
3. 在 Linux ARM 服务器上,一个引擎可用于更多场景
硬件兼容性功能已扩展至遵循服务器 ARM 标准 SBSA 的 Linux 系统。引擎是为 GPU 执行准备模型后生成的产物。此次支持可理解为:不再为每款 GPU 单独准备部署产物,而是构建一个限定兼容范围的引擎,再部署到多个世代的 GPU 上。
构建时设置 HardwareCompatibilityLevel::kAMPERE_PLUS,即可在受支持的 Ampere 及更新 GPU 上运行该引擎。英伟达列举了 GH200、Grace Blackwell 系统和 DGX Spark。对于在 ARM 服务器上使用多代 GPU 的开发团队,这是减少单独生成和管理引擎负担的一种选择。
4. 同时考虑减少部署准备的收益与运行资源成本
是否采用应从构建环境迁移、引擎复用、各模型运行资源增加三个方面分别判断。自行构建时先检查 CUDA 和 C++ 配置;跨 GPU 世代部署时,先确认平台是否支持兼容性功能,再评估引擎复用的收益。若运行的模型符合以下条件,应另行优先检查时间和内存增量。不可将不同条件下的增幅理解为普遍的性能下降或硬件兼容性功能的代价。
ONNX 是模型交换的标准格式,强类型指显式确定张量的数据类型。根据该公司的说明,DGX Spark 上的强类型 ONNX 网络可能出现以下资源增量。执行上下文是保存推理运行状态的对象。
表:DGX Spark 相比 TensorRT 11.4.1 的资源变化
条件:DGX Spark,强类型 ONNX 网络,原文未注明批量条件
单位:%
| 项目 | 相比 TensorRT 11.4.1 的增幅 |
|---|---|
| GPU 处理时间 | 约 10~20% |
| 执行上下文设备内存 | 最高 76% |
据说明,此现象不适用于配备独立显存的 GPU。
根据该公司的说明,B300、GB300 上的测量对象是强类型 FLUX.1-dev 单 Transformer(single-transformer)注意力网络。注意力是根据上下文组合信息的运算。在批量为 4,即每次处理 4 个输入的条件下,执行上下文的设备内存可能出现以下增长。
表:B300、GB300 在各 TensorRT 版本下的执行上下文设备内存
条件:B300、GB300,强类型 FLUX.1-dev single-transformer attention 网络,批量 4
单位:内存 MiB,增幅 %
| TensorRT 11.4.0 | TensorRT 11.5.0 | 相比 11.4.0 的增幅 |
|---|---|---|
| 1296 | 1728 | 约 33% |
英伟达表示,计划在后续版本中处理这一问题。
5. 先适配构建路径与 ARM 平台
从源代码构建时,CMake 已改为通过 find_package(CUDAToolkit) 查找 CUDA。如果使用安装在默认路径之外的 CUDA,可通过以下配置名称指定位置。
-DCUDAToolkit_ROOT此前使用 -DCUDA_TOOLKIT_ROOT_DIR 的构建配置,需要迁移到新名称。
不过,DriveOS、JetPack 不支持这项硬件兼容性功能。
TensorRT 版本选择是另一个问题。本版本不支持 JetPack,因此 Jetson AGX Orin、Thor 应使用 11.4.1,而运行 JetPack 6.x 的 Jetson Orin 应使用该平台支持的 10.x。
Windows on ARM 的 trtexec 不会自动注册标准插件,可能导致使用这些插件的模型解析失败;原文给出的替代方案是使用 Polygraphy 构建引擎。
TensorRT 11.5 扩大了 ARM 部署的选择范围,因此采用前应优先检查自行构建的环境迁移、跨 GPU 世代的引擎复用,以及所列模型和硬件条件下的运行资源增量。
