NVIDIA Dynamo용 AICR: 검증 런타임, 배포 전 검사

1. 추론 그래프 아래의 기반을 함께 맞춘다

NVIDIA Dynamo는 여러 GPU 워커, 즉 작업 프로세스에 걸쳐 모델 서빙을 조정하는 분산 추론 프레임워크다. 이를 운영하려면 GPU 드라이버부터 자원 할당, 작업 배치, 네트워크와 모니터링까지 맞물려야 한다.

NVIDIA AI Cluster Runtime(AICR)은 이 기반 소프트웨어를 Dynamo와 함께 레시피로 제공하는 오픈소스다. 레시피는 설치할 구성요소와 설정, 검사 항목을 정리한 실행 환경의 조립 설명서에 해당한다.

각 레시피는 특정 환경과 작업에 맞춰 구성요소 버전과 호환성 조건을 고정한다. 설정값과 실행할 노드의 조건, 검증 기대값도 기록해 같은 환경을 다시 구성하도록 돕는다. 엔비디아는 지정된 플랫폼과 하드웨어에서 레시피의 버전 조합을 함께 시험했다고 밝혔다.

2. 두 라우팅 경로 중 인프라 운영 주체에 맞춘다

한 경로는 Dynamo Frontend가 요청을 워커에 직접 보낸다. 이전 요청의 계산 결과를 저장한 KV 캐시의 재사용 가능성과 현재 부하를 바탕으로 워커를 고른다. 모델별 접속 지점을 애플리케이션 팀이 맡거나 요청을 대신 전달하는 서버인 기존 프록시로 요청을 전달하는 경우에 적합하며, 두 방식 중 구성이 더 단순하다.

다른 경로는 요청 진입부를 관리하는 Gateway API와 워커 선택을 담당하는 Dynamo EPP를 결합한다. 게이트웨이가 선택된 워커로 요청을 보내면, 워커 옆에 붙은 보조 프로세스가 이를 해당 워커에 전달한다. 여러 모델의 진입 경로와 시간 초과, 재시도, 대체 동작을 플랫폼 팀이 관리할 때 적합하다.

두 경로 모두 워커가 보고한 KV 캐시 상태를 사용한다. 같은 앞부분을 가진 요청을 이미 계산 결과가 있는 워커로 보내, 중간 계산을 되풀이하는 일을 줄이는 방식이다.

3. 레시피 선택부터 런타임 검사까지 진행한다

AICR은 런타임 설치와 애플리케이션 배포를 분리한다. 먼저 구성 상태를 기록하는 클러스터 스냅샷을 만들고, 배포판과 GPU 및 GPU 노드 운영체제에 맞는 추론 레시피를 생성한다.

aicr snapshot \
  --namespace aicr-validation \
  --output snapshot.yaml

아래 표는 특정 GPU 시스템과 클라우드 환경용 레시피가 선택한 구성요소 버전이다. 개별 도구의 최신 버전을 모으기보다, 해당 환경에서 함께 시험한 조합을 재현하는 데 초점을 둔다.

AICR v1.0.0의 NVIDIA GB200 NVL72 및 NVIDIA GB300 NVL72 시스템용 Amazon EKS 레시피

이 조합을 배포용 번들로 만들고 설치한 뒤, 배포 및 적합성 검사를 실행한다. 검사가 통과하면 애플리케이션 구성을 설치하고 추론 접속 지점을 시험한다. 설치에는 Helmfile을 쓸 수 있고, AICR은 저장소의 설정에 맞춰 배포를 관리하는 GitOps용 번들도 생성한다.

4. 검사 결과로 앱 배포 전 기반을 확인한다

검사 항목은 레시피마다 다르며, Dynamo용 검사는 보통 클러스터 자원과 GPU 가용 상태, 플랫폼 구성요소의 상태, GPU 접근, 작업 배치와 자동 확장, 모니터링 지표를 확인한다. 게이트웨이를 쓰는 레시피는 요청 진입부의 준비 상태도 점검한다.

오프라인 검사는 다른 클러스터의 스냅샷과 레시피의 조건을 대조하며 실제 동작 검사는 건너뛴다. 성능 검증은 임시 서빙 작업이 검사 대상 GPU를 쓰므로 별도로 실행한다.

레시피와 사전 검사는 인프라 조합을 되풀이해 맞추는 부담을 낮추는 대신, 버전이 고정된 구성요소들을 함께 운영·관리하는 과제를 남긴다. 공유 진입 경로를 택하면 중앙에서 요청 전달 정책을 관리할 수 있지만, 게이트웨이와 워커 선택기, 보조 프로세스 등 운영 대상도 늘어난다.

AICR의 핵심은 Dynamo의 추론 기능보다 그 아래 런타임을 정형화하고, 앱 배포 전에 적합성을 확인하는 데 있다.