NVIDIA가 쿠버네티스에서 에이전트 환경을 빠르게 멈추고 다시 쓰는 오픈소스 런타임, 프로그램을 실행하는 환경인 Agent Substrate를 공개했다. 에이전트 플랫폼 운영자는 대기 중인 세션마다 작업 자원을 계속 배정하는 대신, 세션 상태를 저장해 작은 작업자 풀, 작업을 처리하는 실행 단위의 모음을 여러 세션이 나눠 쓰도록 구성할 수 있다.

1. 세션마다 작업자를 붙이는 낭비를 줄인다

에이전트는 명령을 실행하거나 파일을 고친 뒤 모델 응답이나 사람의 입력을 기다리는 일이 반복된다. 이때 파일과 프로세스, 작업 디렉터리는 다음 단계까지 유지돼야 한다. 하지만 세션마다 쿠버네티스의 작업 실행 단위인 파드를 계속 켜 두면 쉬는 동안에도 메모리를 차지하고, 매번 새 파드를 만들면 배치, 작업을 실행할 컴퓨터를 정하는 과정과 이미지·네트워크 준비에 수 초가 걸릴 수 있다.

코딩 보조 도구는 모델 호출과 저장소 작업을 오가며 환경을 유지해야 한다. 수많은 세션에 전용 실행 환경을 하나씩 붙여 두는 대신, 멈춘 작업의 상태를 보관했다가 이어가는 방식이 필요한 이유다.

강화학습 후속 훈련, 학습된 모델을 추가로 훈련하는 과정에서는 코드 실행기나 시뮬레이터 같은 CPU 중심 환경에 요청이 묶음으로 몰린다. NVIDIA는 규모가 초기 실험의 수백 개에서 운영 단계의 수십만 개 환경까지 커질 수 있다고 설명한다. 가장 느린 환경이 다음 훈련 묶음의 준비 시점을 결정하므로, 환경을 새로 만드는 지연은 GPU의 대기로 이어진다.

2. 유휴 상태를 저장하고 빈 작업자에서 복원한다

Agent Substrate는 준비된 쿠버네티스 작업자 파드 묶음 위에 별도 제어 계층, 자원 배정과 상태 관리를 맡는 층을 두고, 많은 에이전트 환경을 더 작은 작업자 풀에 연결한다. 격리된 실행 공간인 샌드박스는 gVisor나 가상화로 격리한 작은 컴퓨터 환경인 마이크로 가상 머신을 쓰며, 환경이 쉬면 메모리와 파일 시스템 상태를 저장하고 작업자를 돌려준다. 다음 호출 때는 빈 작업자에서 저장된 상태로 작업을 이어간다.

복원은 새 파드를 만드는 절차를 거치지 않으며, 작업자 자체는 일반 쿠버네티스 파드여서 클러스터의 배치와 할당량 정책이 계속 적용된다. 회사 발표 기준으로 이 런타임은 표준 컨테이너보다 10배 높은 밀도로 수백만 에이전트와 도구를 실행하도록 설계됐다.

3. 포화 대기와 샌드박스 내 자원 경합을 다룬다

작업자가 모두 사용 중일 때 새 요청을 바로 실패시키는 대신, 라우터, 요청을 적절한 실행 대상으로 전달하는 구성요소가 요청을 일정 한도 안에서 대기시키고 작업자가 비면 재개를 시도하는 기능이 개발됐다. 이미 실행 중인 환경을 향한 요청이 대기열, 처리 전 요청이 순서대로 기다리는 목록에 갇히지 않게 하는 후속 개선도 소개됐다.

샌드박스에는 로깅이나 프록시, 다른 서비스 대신 요청을 전달하는 중개 기능, 지표 수집을 맡는 보조 컨테이너가 함께 들어갈 수 있다. 마이크로 가상 머신 샌드박스에 컨테이너별 CPU와 메모리 제한을 적용하면, 한 컨테이너가 메모리 한도를 넘을 때 그 컨테이너만 중단하고 나머지 환경은 계속 실행할 수 있다.

연구자가 코드를 컴파일하거나 계산을 수행하는 GPU 샌드박스를 멈췄다가 되살리는 설계도 제안됐다. 장치 공급자가 안전한 정지 방법과 복원에 필요한 장치 특성을 제공하면, 런타임은 이를 저장해 조건에 맞는 장치로 복구한다. NVIDIA GPU가 첫 지원 대상이다.

4. 추론 상태를 환경 관리에 되돌려 쓴다

Agent Substrate가 에이전트가 도구를 쓰는 환경을 관리한다면, NVIDIA Dynamo는 GPU에서 학습된 모델이 결과를 내는 과정인 모델 추론을 조정한다. Dynamo 라우터는 이전 모델 호출의 계산 결과를 담은 KV 캐시의 위치와 GPU 작업자의 혼잡도를 파악한다. 세션 식별자, 세션을 서로 구분하는 값과 도구 호출 경계 같은 정보도 함께 활용해 이어지는 모델 요청을 조정할 수 있다.

연동의 핵심은 추론 측의 진행 정보를 에이전트 환경 관리에 돌려주는 것이다. Dynamo는 첫 토큰까지 예상 시간, 요청 진행도, 캐시 준비 상태, GPU 풀의 포화도, 가용 자원이 모두 사용된 정도 같은 신호를 제공할 수 있다. Agent Substrate는 이를 바탕으로 환경을 계속 유지할지, 긴 추론 대기 중 저장할지, 모델 응답이 가까워질 때 다시 올릴지를 정하도록 설계됐다. 환경을 항상 켜 두는 비용과 매번 다시 시작하는 지연을 함께 줄이려는 접근이다.

5. 효율 개선에는 계층 간 조정이 따른다

유휴 세션이 작업자를 점유하지 않게 하고 상태를 재사용하면 CPU·메모리 낭비와 단계별 재시작 부담을 줄일 수 있다. 대신 운영자는 환경 실행과 추론을 각각 관리하는 두 계층의 신호와 자원 운용을 맞춰야 한다. 자원을 켜 두는 비용을 줄이는 만큼 상태 보존과 재개 시점을 조정하는 일이 중요해진다.

GPU 상태 복원은 대체로 같은 GPU 모델에서 가능하고 드라이버 버전까지 같아야 할 때도 있어, 조건에 맞는 장치가 없으면 새로 시작한다. NVIDIA는 API가 계속 바뀌고 GPU 지원을 새 쿠버네티스 자원 할당 기반 위에서 다시 구축 중이며, Dynamo와의 일부 연동은 실험 단계라고 밝혔다.

Agent Substrate는 클라우드 네이티브 컴퓨팅 재단(CNCF)의 샌드박스 프로젝트로 기증된 독립 오픈소스다. NVIDIA Dynamo는 추론을 맡고 KAI Scheduler는 작업자 파드를 배치하며, Agent Substrate는 상태를 가진 에이전트 환경을 관리한다. 작업자 파드가 일반 쿠버네티스 파드인 만큼 GPU 훈련기나 추론 서버 옆에 배치할 수 있다.

Agent Substrate의 가치는 작업 상태 보존을 추론 진행 정보와 연결해, 에이전트가 기다리는 시간을 공유 자원을 돌려 쓰는 기회로 바꾸는 데 있다.