엔비디아가 인공지능 모델의 GPU 추론을 최적화하는 TensorRT 11.5를 공개했다. ARM 기반 서버에서는 한 번 만든 실행용 엔진을 여러 GPU 세대에 재사용할 수 있고, 윈도 기반 ARM 기기에서는 GB300 지원이 추가돼 개발자의 하드웨어 선택지가 넓어진다.

1. CUDA 13.5를 기본 개발 환경으로 삼는다

TensorRT의 기본 CUDA 버전은 13.5로 바뀌었다. CUDA로 GPU 실행 환경을 구성하고 TensorRT로 모델을 배포하는 개발자에게는 빌드 설정부터 달라지는 업데이트다. 깃허브 릴리스는 기본 버전 변경을, 공식 릴리스 노트는 플랫폼별 지원 버전을 지원표에서 확인하도록 안내한다.

플러그인을 직접 빌드한다면 C++20에 맞춰 소스를 준비해야 한다. 컴파일 과정에서 코드로 펼쳐지는 매크로인 PLUGIN_VALIDATE에서 이전 C++17 환경을 위한 대체 경로가 제거됐기 때문이다. 완성된 엔진을 실행하는 작업과 함께, 자체 확장 기능을 컴파일하는 개발 환경도 전환 점검 대상이 된다.

2. 윈도 기반 ARM 기기로 GB300 지원을 넓힌다

Windows on ARM의 GB300 지원은 베타 단계로 추가됐다. 지원 정밀도는 같은 GPU 연산 기능을 쓰는 x86-64 환경과 같다. 모델의 수치를 표현하는 방식은 FP32부터 FP8·FP4처럼 적은 비트로 수를 나타내는 형식까지 포함한다.

이번 변화의 대상은 GB300의 GPU 실행 경로다. GB300에는 별도의 딥러닝 연산 장치인 DLA가 없으므로, 개발자는 다른 DLA 탑재 ARM 기기의 제약보다 실제로 사용할 GPU와 빌드 도구의 지원 상태를 중심으로 도입을 검토할 수 있다.

3. 리눅스 ARM 서버에서는 엔진 하나의 사용처가 늘어난다

하드웨어 호환성 기능은 서버용 ARM 표준인 SBSA를 따르는 리눅스 시스템으로 확대됐다. 엔진은 모델을 GPU 실행에 맞게 준비한 결과물이다. 이번 지원은 GPU마다 배포용 결과물을 따로 준비하는 대신, 호환 범위를 정해 만든 한 엔진을 여러 세대에 배포하는 방식으로 이해할 수 있다.

빌드할 때 HardwareCompatibilityLevel::kAMPERE_PLUS를 설정하면 지원 대상인 Ampere 이상 GPU에서 해당 엔진을 실행할 수 있다. 엔비디아는 GH200, Grace Blackwell 시스템, DGX Spark를 예로 들었다. ARM 서버를 여러 GPU 세대로 운영하는 개발팀에는 엔진을 따로 생성하고 관리하는 부담을 줄일 선택지다.

4. 배포 준비를 줄이는 이익과 실행 자원 비용을 함께 본다

도입 판단은 빌드 환경 전환, 엔진 재사용, 모델별 실행 자원 증가로 나눠야 한다. 직접 빌드한다면 CUDA·C++ 설정을 먼저 확인하고, 여러 GPU 세대에 배포한다면 플랫폼의 호환성 지원 여부를 확인한 뒤 엔진 재사용의 이익을 평가한다. 아래 조건에 해당하는 모델을 운영한다면 시간·메모리 증가를 별도로 우선 점검한다. 서로 다른 조건의 증가율을 공통 성능 저하나 하드웨어 호환성 기능의 비용으로 해석해서는 안 된다.

ONNX는 모델 교환용 표준 형식이며, 강한 타입은 텐서의 자료형을 명시적으로 정한다는 뜻이다. 회사 발표 기준 DGX Spark의 강한 타입 ONNX 네트워크에서는 다음과 같은 자원 증가가 나타날 수 있다. 실행 컨텍스트는 추론 실행 상태를 담는 객체다.

표: DGX Spark의 TensorRT 11.4.1 대비 자원 변화

조건: DGX Spark, 강한 타입 ONNX 네트워크, 배치 조건은 원문에 명시되지 않음

단위: %

배포 준비를 줄이는 이익과 실행 자원 비용을 함께 본다
항목TensorRT 11.4.1 대비 증가율
GPU 처리 시간약 10~20%
실행 컨텍스트 장치 메모리최대 76%

이 현상은 독립 그래픽 메모리를 갖춘 GPU에는 해당하지 않는다는 설명이다.

회사 발표 기준 B300·GB300의 측정 대상은 강한 타입의 FLUX.1-dev 단일 트랜스포머(single-transformer) 어텐션 네트워크다. 어텐션은 문맥에 따라 정보를 결합하는 연산이다. 배치 4, 즉 한 번에 처리하는 입력 수가 4인 조건에서는 실행 컨텍스트의 장치 메모리가 다음과 같이 늘 수 있다.

표: B300·GB300의 TensorRT 버전별 실행 컨텍스트 장치 메모리

조건: B300·GB300, 강한 타입 FLUX.1-dev single-transformer attention 네트워크, 배치 4

단위: 메모리 MiB, 증가율 %

배포 준비를 줄이는 이익과 실행 자원 비용을 함께 본다
TensorRT 11.4.0TensorRT 11.5.011.4.0 대비 증가율
12961728약 33%

엔비디아는 이 문제를 향후 릴리스에서 다룰 예정이라고 밝혔다.

5. 빌드 경로와 ARM 플랫폼부터 맞춘다

소스 빌드에서는 CMake가 find_package(CUDAToolkit)으로 CUDA를 찾도록 바뀌었다. 기본 경로 밖의 CUDA 설치본을 쓰는 경우에는 다음 설정 이름으로 위치를 지정한다.

-DCUDAToolkit_ROOT

기존의 -DCUDA_TOOLKIT_ROOT_DIR를 사용하던 빌드 설정은 새 이름으로 옮기는 것이 전환 작업이다.

다만 이 하드웨어 호환성 기능은 DriveOS·JetPack에서 지원되지 않는다.

TensorRT 버전 선택은 별도 문제다. JetPack은 이번 버전의 지원 대상이 아니므로 Jetson AGX Orin·Thor는 11.4.1을, JetPack 6.x의 Jetson Orin은 해당 플랫폼이 지원하는 10.x를 사용해야 한다.

Windows on ARM의 trtexec는 표준 플러그인을 자동 등록하지 않아 이를 쓰는 모델의 파싱이 실패할 수 있으며, 원문은 Polygraphy로 엔진을 빌드하는 우회책을 안내한다.

TensorRT 11.5는 ARM 배포의 선택지를 넓혀, 도입 시 직접 빌드 환경의 전환과 GPU 세대 간 엔진 재사용, 해당 모델·하드웨어 조건에서의 실행 자원 증가를 우선 점검해야 한다.