NVIDIAは、AIモデルのGPU推論を最適化するTensorRT 11.5を公開した。ARMベースのサーバーでは、一度作成した実行用エンジンを複数のGPU世代で再利用でき、WindowsベースのARM機器ではGB300のサポートが追加され、開発者のハードウェアの選択肢が広がる。

1. CUDA 13.5を標準の開発環境とする

TensorRTのデフォルトのCUDAバージョンは13.5に変わった。CUDAでGPU実行環境を構築し、TensorRTでモデルを展開する開発者にとっては、ビルド設定から変わる更新だ。GitHubのリリースではデフォルトバージョンの変更を示し、公式リリースノートではプラットフォーム別の対応バージョンをサポート表で確認するよう案内している。

プラグインを自分でビルドする場合は、C++20に合わせてソースを準備する必要がある。コンパイル時にコードへ展開されるマクロPLUGIN_VALIDATEから、従来のC++17環境向けの代替経路が削除されたためだ。完成したエンジンの実行作業とともに、独自の拡張機能をコンパイルする開発環境も移行確認の対象となる。

2. WindowsベースのARM機器へGB300のサポートを広げる

Windows on ARMでのGB300サポートがベータ段階として追加された。対応する精度は、同じGPU演算機能を使うx86-64環境と同じだ。モデルの数値を表す方式には、FP32からFP8・FP4のように少ないビット数で数値を表す形式まで含まれる。

今回の変更の対象はGB300のGPU実行経路だ。GB300には独立した深層学習演算装置であるDLAがないため、開発者はほかのDLA搭載ARM機器の制約よりも、実際に使用するGPUとビルドツールの対応状況を中心に導入を検討できる。

3. Linux ARMサーバーでは1つのエンジンの用途が広がる

ハードウェア互換性機能は、サーバー向けARM標準のSBSAに準拠するLinuxシステムへ拡大した。エンジンは、モデルをGPU実行向けに準備した成果物だ。今回のサポートは、GPUごとに配布用の成果物を用意する代わりに、互換範囲を定めて作成した1つのエンジンを複数の世代に展開する方式と理解できる。

ビルド時にHardwareCompatibilityLevel::kAMPERE_PLUSを設定すると、サポート対象のAmpere以降のGPUでそのエンジンを実行できる。NVIDIAはGH200、Grace Blackwellシステム、DGX Sparkを例に挙げた。複数のGPU世代でARMサーバーを運用する開発チームにとって、エンジンを個別に生成・管理する負担を減らす選択肢となる。

4. 展開準備を減らす利点と実行リソースのコストを併せて見る

導入判断は、ビルド環境の移行、エンジンの再利用、モデル別の実行リソース増加に分ける必要がある。自分でビルドする場合はCUDA・C++の設定を先に確認し、複数のGPU世代に展開する場合はプラットフォームの互換性対応を確認してから、エンジン再利用の利点を評価する。以下の条件に該当するモデルを運用する場合は、時間・メモリの増加を別途優先して確認する。異なる条件での増加率を共通の性能低下やハードウェア互換性機能のコストと解釈してはならない。

ONNXはモデル交換用の標準形式で、強い型付けとはテンソルのデータ型を明示的に定めることを意味する。同社の発表によると、DGX Sparkの強く型付けされたONNXネットワークでは、次のようなリソース増加が生じる可能性がある。実行コンテキストは、推論の実行状態を格納するオブジェクトだ。

表:DGX SparkにおけるTensorRT 11.4.1比のリソース変化

条件:DGX Spark、強く型付けされたONNXネットワーク、バッチ条件は原文に記載なし

単位:%

展開準備を減らす利点と実行リソースのコストを併せて見る
項目TensorRT 11.4.1比の増加率
GPU処理時間約10~20%
実行コンテキストのデバイスメモリ最大76%

この現象は、独立したグラフィックスメモリを備えるGPUには該当しないという説明だ。

同社の発表でB300・GB300の測定対象となったのは、強く型付けされたFLUX.1-devの単一トランスフォーマー(single-transformer)アテンションネットワークだ。アテンションは文脈に応じて情報を結合する演算である。バッチ4、つまり一度に処理する入力数が4の条件では、実行コンテキストのデバイスメモリが次のように増える可能性がある。

表:B300・GB300におけるTensorRTバージョン別の実行コンテキストのデバイスメモリ

条件:B300・GB300、強く型付けされたFLUX.1-dev single-transformer attentionネットワーク、バッチ4

単位:メモリMiB、増加率%

展開準備を減らす利点と実行リソースのコストを併せて見る
TensorRT 11.4.0TensorRT 11.5.011.4.0比の増加率
12961728約33%

NVIDIAは、この問題に今後のリリースで対応する予定だと明らかにした。

5. ビルド経路とARMプラットフォームを先に合わせる

ソースビルドでは、CMakeがfind_package(CUDAToolkit)でCUDAを探すように変わった。標準パス以外にインストールしたCUDAを使う場合は、次の設定名で場所を指定する。

-DCUDAToolkit_ROOT

従来の-DCUDA_TOOLKIT_ROOT_DIRを使っていたビルド設定は、新しい名前へ移すことが移行作業となる。

ただし、このハードウェア互換性機能はDriveOS・JetPackではサポートされない。

TensorRTのバージョン選択は別の問題だ。JetPackは今回のバージョンのサポート対象ではないため、Jetson AGX Orin・Thorは11.4.1を、JetPack 6.xのJetson Orinはそのプラットフォームが対応する10.xを使う必要がある。

Windows on ARMのtrtexecは標準プラグインを自動登録しないため、それらを使うモデルの解析が失敗する可能性があり、原文ではPolygraphyでエンジンをビルドする回避策を案内している。

TensorRT 11.5はARM展開の選択肢を広げるため、導入時はビルド環境の移行、GPU世代をまたぐエンジン再利用、提示されたモデル・ハードウェア条件での実行リソース増加を優先して確認する。