엔비디아가 AI 학습 작업의 자동 복구 범위를 쿠버네티스 환경까지 넓힌 NVIDIA Mission Control 2.5를 공개했다. 대규모 학습을 운영하는 팀은 고장 원인을 조사하는 동안에도 작업을 다시 시작하고, 의심되는 장비는 다음 작업에 배정되지 않도록 격리할 수 있다.

1. 작업 복구와 하드웨어 조치를 분리

기존 자가 복구 엔진은 Slurm을 사용하는 대규모 계산 작업을 처리하는 고성능 컴퓨팅 작업에 적용됐다. 이번에는 제품에 포함된 NVIDIA Run:ai가 관리하는 쿠버네티스 작업으로 범위를 넓혔다. 두 환경을 함께 운영하는 플랫폼팀은 작업 배치 방식에 맞춰 같은 복구 모델을 활용할 수 있게 됐다.

복구 흐름은 작업을 배치하는 스케줄러와 작업 복구 서비스, 하드웨어 복구 서비스가 나눠 맡는다. 배차 담당이 실행 자원을 고르면 작업 담당은 실패 이력과 실행 위치를 보고 재시도 방향을 정하고, 장비 담당은 고장 자원을 점검하는 식이다.

자가 하드웨어 복구 서비스는 노드와 GPU 상태를 살핀다. 이상이 확인되면 해당 자원을 스케줄링 대상에서 제외하고 진단이나 조치를 시작한다. 작업 복구가 하드웨어 수리를 기다리지 않고 진행될 수 있고, 의심 노드가 다음 작업에 다시 배정되는 것도 막는 구조다.

2. 고장 종류에 따라 다른 복구 경로

GPU 고장으로 학습 작업이 멈추면 오류 신호와 작업 문맥, 작업 실행 상태와 관련 정보를 활용해 의심 노드를 가려낸다. 작업 복구 쪽은 스케줄러 연동을 통해 작업을 재시작하거나 재배치하고, 하드웨어 복구 쪽은 동시에 노드를 격리해 진단한다. 따라서 원인 분석이 끝날 때까지 작업 복구가 멈춰 있지 않는다.

반대로 실제 작업을 수행하는 워커 종료나 복구 가능한 시간 초과, 정해진 시간 안에 응답하지 않는 상태처럼 일시적 소프트웨어 오류로 판단되면, 스케줄러 정책에 따라 작업을 재시도할 수 있다. 이 경우 하드웨어가 정상이라면 불필요한 격리는 하지 않고 하드웨어 상태 감시를 이어간다. 작업 실패가 발생하기 전에도 GPU 상태 경고나 연결 문제를 근거로 위험 노드를 스케줄링에서 제외할 수 있다.

3. Run:ai 연동과 설치 준비

작업 복구 기능은 Run:ai의 KAI 스케줄러에 통합됐다. 작업 제출 뒤 시스템 로그와 상태 정보를 실패 시점과 대조해 하드웨어 또는 소프트웨어 원인을 판단한다. 최근 이상에 기여한 노드를 제외하도록 작업 명세, 실행 설정과 조건을 적은 정의를 갱신한 뒤 다시 대기열, 실행 차례를 기다리는 작업 목록에 넣는다.

자가 복구 엔진(ARE)은 자가 작업 복구, 자가 하드웨어 복구, NVIDIA Resiliency Extensions(NVRx)로 구성된다. NVRx는 Mission Control와 함께 설치되지 않으며, 별도로 설치해야 한다. 설치 절차는 https://nvidia.github.io/nvidia-resiliency-ext/ 를 따른다.

학습 앱에는 Autonomous Job Recovery Training Telemetry Client Library(자가 작업 복구 훈련 텔레메트리 클라이언트 라이브러리)를 통합해 상태 정보를 기록할 수 있다. 이 라이브러리는 로그 형식을 직접 정리하지 않아도 작업 복구 서비스가 감시하는 로그 메시지를 자동 생성하며, 처리량(일정 시간 동안 처리하는 작업의 양), 체크포인트(학습 상태 저장 지점), 멈춤 탐지(작업 진행이 멎었는지 확인하는 기능) 관련 내용을 담는다. 덕분에 앱이 복구 서비스에 필요한 정보를 전달하기 쉬워진다.

이 훈련 텔레메트리 클라이언트는 NVIDIA PyPI에서 다음 명령으로 설치한다.

pip install --extra-index-url https://pypi.nvidia.com --upgrade aidot_training_telemetry

4. 적용할 작업과 장비를 먼저 확인

릴리스 노트의 구성요소 표는 DGX B200·B300과 GB200·GB300 NVL72 계열에서 작업 관리와 두 자가 복구 구성요소를 지원하는 것으로 표시한다. 기존 지원 장비를 운영하는 팀에는 쿠버네티스 학습의 복구 흐름을 확장할 수 있는 선택지가 생긴 셈이다.

릴리스 노트가 명시한 작업 복구의 적용 대상은 Kubeflow PyTorch 학습 오퍼레이터를 쓰는 작업이다. Vera Rubin NVL72는 이번 릴리스에서 필수 초기 구동 지원에 한정되며, Run:ai와 자가 복구 엔진은 지원하지 않는다.

5. 수동 대응을 줄이는 대신 연동 준비가 필요

자동 복구의 이익은 작업 재개를 장비 수리 완료까지 미루지 않고, 일시적인 소프트웨어 오류 때문에 정상 장비를 격리하는 일도 줄이는 데 있다. 엔비디아는 이런 분리가 중단 시간과 불필요한 자원 낭비를 줄이는 운영 효과로 이어진다고 설명한다.

그 대가로 운영팀에는 학습 앱의 로그 통합과 복구 구성요소 설치 등 준비 작업이 남는다. 자가 하드웨어 복구에서는 Datadog, FluentBit, Elastic 연동이 제거돼 해당 도구에 의존하던 관측 경로, 시스템 상태를 수집하고 살피는 방식을 재검토하는 일도 도입 비용에 포함된다.

Mission Control 2.5의 가치는 작업 재개와 장비 진단을 분리해, 쿠버네티스 학습의 복구를 수동 대응에서 연동된 운영 흐름으로 옮기는 데 있다.