NVIDIA가 쿠버네티스용 GPU 플랫폼 구성 도구에 AI 워크로드 목록 수집기를 통합했다. 플랫폼 운영팀은 재현 가능한 인프라 배포와 실제로 감지된 모델·실행 환경 정보를 같은 배포 흐름에서 관리할 수 있다.

1. 구성 관리와 실행 목록을 연결

NVIDIA AI Cluster Runtime(AICR)은 DSX AI 팩토리 플랫폼의 오픈소스 모듈이다. 클라우드, 가속기, 운영체제와 사용 목적을 지정하면 버전이 고정된 배포 명세인 레시피와 설치에 필요한 파일을 만든다. 이 명세를 실제 클러스터 상태와 대조해 검증할 수 있다.

이번 통합으로 구글이 만든 오픈소스 k8s-aibom이 AICR의 검증된 구성 요소에 포함됐다. AICR은 원본 코드와 설치 패키지, 컨트롤러, 클러스터 작업을 자동화하는 구성 요소 이미지 등을 특정 버전과 내용으로 고정해 하나의 시험 대상으로 묶는다. 빌드 출처와 권한 설정을 확인하고 설치부터 업그레이드, 제거까지 시험한다.

두 도구가 살피는 대상은 다르다. AICR은 GPU 인프라가 알려진 구성으로 배포됐는지 확인하고, k8s-aibom은 클러스터에서 인식한 AI 워크로드의 자산 정보를 수집한다. 인프라의 배포 의도와 그 위에서 발견된 워크로드 정보를 나란히 볼 수 있게 한 구성이다. 같은 이미지 태그라도 노드나 이미지를 내려받는 시점에 따라 다른 코드를 가리킬 수 있다. 따라서 고정된 인프라 레시피만으로는 워크로드 변경을 추적할 수 없다.

2. 감지된 AI 자산과 근거를 기록

k8s-aibom은 쿠버네티스 워크로드와 실행 단위인 파드의 정보를 관찰한다. 인식된 AI 워크로드마다 소프트웨어 구성 정보를 교환하는 CycloneDX 1.6 형식으로 AI 자산 목록을 만든다.

추론 서비스뿐 아니라 에이전트, 검색증강생성(검색 결과를 답변 생성에 활용하는 방식) 구성, 벡터 데이터베이스(의미 유사도로 정보를 찾는 저장소), 학습 작업과 평가 도구도 지원 대상에 포함된다.

하위 워크로드가 부모 작업에서 만들어진 경우에는 부모의 문서에 묶어 중복 기록을 줄인다.

목록에는 모델과 컨테이너 이미지, 실행 환경 등 워크로드에서 확인한 속성과 판단 근거가 담긴다. 모델 실행 인자에 명시한 이름은 직접 선언한 값으로, 이미지나 관례적 환경 변수에서 읽어낸 정보는 추정한 값으로 표시한다.

판별하지 못한 값도 따로 표시한다. 서명 검증은 서명으로 출처와 변경을 확인하는 절차다. 운영팀이 정한 신뢰 기준과 서명자 조건을 충족해 검증을 통과하면 모델 정보에 검증 등급을 부여할 수 있다. NVIDIA의 기본 구성에서는 이 검증을 꺼 둔다.

3. 레시피에서 선택하고 네임스페이스를 표시

블로그가 설명한 AICR v1.2.0 카탈로그는 k8s-aibom 1.6.2를 고정한다. 예제를 재현할 때는 이 카탈로그와 맞는 명령줄 도구를 쓴다.

예제 환경은 쿠버네티스 1.32 이상을 실행하는 구글 쿠버네티스 엔진(GKE) 클러스터다. H100과 컨테이너 최적화 OS(COS)를 쓰는 추론 레시피 두 개는 기본으로 목록 수집기를 선택하며, 다른 GKE 레시피도 생성할 때 선택할 수 있다. 레시피를 만드는 명령은 다음과 같다.

aicr recipe \
--service gke \
--accelerator h100 \
--os cos \
--intent inference \
--output recipe.yaml

설치 뒤에는 클러스터 안에서 자원을 나누는 구획인 네임스페이스에 표시를 붙인다. 표시된 곳에서 인식된 지원 워크로드의 목록이 생성된다.

4. 수집 부하와 운영상 고려

회사 발표 기준, 원본 프로젝트의 측정은 k8s-aibom v1.6.1을 GKE의 NVIDIA Dynamo 및 AICR 구성에서 수행했다. CPU 전용 노드에서 워크로드 파드를 Pending 상태로 남겨 둔 채 15분간 안정 상태를 관찰했다. 워크로드 파드가 실제로 실행되지 않았기 때문에 이 수치는 컨트롤러의 목록 수집 부하를 나타낸다.

표: 컨트롤러의 안정 상태 자원 사용량

조건: k8s-aibom v1.6.1, GKE, NVIDIA Dynamo 및 AICR 구성, CPU 전용 노드, 워크로드 파드는 Pending 상태(실행되지 않음), 15분 안정 상태 관측

단위: API 서버 요청은 건/분, CPU는 밀리코어, 메모리는 MiB

수집 부하와 운영상 고려
항목값
API 서버 요청(약)4
컨트롤러 CPU 평균2.2
컨트롤러 실사용 메모리28–34

수치는 AI 모델의 처리 성능이 아니라 목록 수집 컨트롤러의 부하를 보여준다. 별도의 할당 기준인 차트의 기본 자원 요청량은 CPU 50밀리코어·메모리 128MiB로, 관측 부하는 이보다 낮다. 기본 요청량은 측정 결과가 아니며, v1.6.1 시험에 적용된 설정값으로 확인된 것도 아니다. 같은 시험에서 워크로드의 이미지 태그를 바꿨을 때 목록은 한 차례 재생성됐다.

컨트롤러는 목록 생성 대상으로 표시하지 않은 곳까지 클러스터 전체의 파드 설정과 설정에 직접 넣은 환경 변수 값을 메모리에 보관한다. 기본 구성에서는 외부 저장소 전송과 비밀 값 접근을 설정하지 않는다.

5. 배포 의도와 관측 결과의 연결

목록은 지원되는 종류와 인식 가능한 AI 신호를 가진 워크로드만 담으며, 파드가 이미지를 내려받기 전에도 준비 상태로 나타날 수 있다. 따라서 선언된 내용과 확인 가능한 정보의 목록이지, 스케줄링이나 실행 성공을 확인하는 결과는 아니다.

AICR 레시피의 배포 의도와 실행 환경에서 관측한 자산 목록을 대조하려면 공통 자산 식별자(자산을 구별하는 고유 표지), 정보의 최신성 기준, 인프라와 워크로드의 범위 대응이 필요하다. NVIDIA는 이 연결을 향후 통합 과제로 제시했다.

이번 통합의 실익은 재현 가능한 GPU 배포에 AI 자산의 근거를 더해, 운영팀이 인프라와 워크로드를 함께 검토할 출발점을 마련한 데 있다.