구글 클라우드는 AI 에이전트의 실행을 격리하는 gVisor와 상태를 보존해 에이전트를 다시 깨우는 Agent Substrate를 클라우드 네이티브 컴퓨팅 재단(CNCF)에 기증했다. 두 기술은 CNCF의 Sandbox 단계로 들어가며, Kubernetes를 쓰는 개발팀은 신뢰할 수 없는 코드를 격리하면서 유휴 에이전트의 실행 상태를 보존하는 공개 기반을 시험할 수 있다.

에이전트는 기다리는 동안에도 상태를 유지한다

에이전트는 작업을 수행한 뒤 모델의 추론이나 외부 서비스, 사람의 검토를 기다리는 방식으로 움직인다. 구글 발표 기준, 대화형 세션에서 기다리는 시간은 전체의 90~95%에 이른다. 이때 CPU를 쓰지 않아도 코드를 실행하는 언어 런타임과 로컬 저장소, 편집 중인 파일, 도구 세션은 메모리와 디스크에 남아야 한다.

전용 Pod를 계속 켜 두면 바로 응답할 수 있지만 사용하지 않는 시간에도 계산 자원을 점유한다. 반대로 서버를 직접 관리하지 않는 서버리스 컨테이너를 0개로 줄이면 구글 설명상 저장소를 복제하고 패키지를 다시 설치하는 복구 과정이 생겨, 다시 깨어나는 데 20초 넘게 걸릴 수 있다. 구글이 제시한 목표는 메모리와 디스크 상태를 유지한 채 500밀리초 미만에 재개하고, 대기 중인 Pod 비용은 없애는 것이다.

학습과 평가에서는 다른 병목이 생긴다. 보상에 따라 행동을 개선하는 강화학습 반복이나 성능을 비교하는 벤치마크는 수천 작업에서 에이전트 코드를 동시에 실행할 수 있다. 작업마다 Kubernetes Pod를 새로 만들고 없애면 짧은 시간에 요청이 몰려 클러스터 설정을 저장하는 분산 저장소 etcd와 kube-apiserver에 부담을 주고 IP 주소 범위를 나눈 논리적 망인 서브넷의 IP 주소를 소진할 수 있다고 구글은 설명한다.

상태와 실행 자원을 분리해 재사용한다

Agent Substrate는 에이전트 세션 상태를 보유하는 Actor와 작업 계산을 수행하는 Worker를 분리한다. Actor에는 파일 시스템, 환경 변수, 메모리 상태, 네트워크 규칙이 담기고, Worker는 미리 준비한 Kubernetes Pod의 공유 풀에서 실행 자원을 제공한다. 이렇게 하면 에이전트가 쉴 때 Worker 슬롯을 비우고 다른 작업에 재사용할 수 있다.

요청이 중지된 Actor에 도착하면 요청을 대신 전달하는 프록시가 요청을 메모리에 보관하고 원하는 상태를 맞추는 컨트롤러에 알린다. 컨트롤러는 빈 Worker 슬롯을 배정하고, 여러 속도의 저장소를 결합한 계층형 저장소에 보관한 상태가 복원되면 요청을 전달한다. 작업이 끝나면 상태를 다시 저장하고 슬롯을 반환한다. 구글은 이 방식으로 새 Pod 객체를 매번 만들지 않고 에이전트를 활성화·중지·재개할 수 있다고 설명한다.

이 설계는 유휴 Pod에 묶이는 계산 자원과 Pod 생성에 따른 클러스터 동작을 관리하는 제어 평면의 부담을 줄이는 방향이다. 다만 계산 자원을 공유하기 위해 예열된 Worker 풀을 운영해야 하고, 중지한 세션의 상태를 저장할 공간도 필요하다. 따라서 비용과 운영 부담은 사라진다기보다 유휴 실행에서 풀의 규모와 상태 보관으로 이동한다.

gVisor가 실행 경계를 만들고 상태 복원을 돕는다

에이전트는 모델이 만든 코드를 실행할 수 있어 호스트와의 격리가 중요하다. 일반 Linux 컨테이너는 호스트 커널을 공유한다. 구글이 함께 기증한 gVisor는 Go로 작성된 사용자 공간 애플리케이션 커널로, 운영체제 기능을 요청하는 시스템 호출을 커널 밖에서 응용 프로그램이 실행되는 사용자 공간에서 가로채 신뢰할 수 없는 코드와 호스트 커널을 분리한다.

gVisor가 자체 메모리와 실행 프로그램 정보를 담는 프로세스 테이블을 관리하는 특성은 실행 환경을 멈추고 메모리 페이지를 저장한 뒤 다른 노드에서 복원하는 데 쓰인다. 구글 발표 기준, Agent Substrate의 상태 복원은 500밀리초 미만이다. 하드웨어로 가상 컴퓨터를 만드는 하드웨어 가상화나 운영체제 핵심에 기능을 추가하는 사용자 정의 커널 모듈이 필요한 작업에는 작고 빠르게 시작하는 Cloud Hypervisor 기반 마이크로 가상 머신도 같은 인터페이스 아래에서 지원한다고 구글은 밝혔다.

CNCF 기증으로 공개 기반을 시험할 수 있다

구글 클라우드는 KubeCon North America가 열리는 솔트레이크시티에서 Agent Substrate와 gVisor를 CNCF 샌드박스 단계로 기증한다고 발표했다. OpenRL도 함께 언급됐으며, 구글이 제시한 구성에서 gVisor는 격리, Agent Substrate는 에이전트 실행, OpenRL은 학습과 평가 조율을 맡는다. Agent Substrate는 1.0 버전을 공개했고 시험용 코드와 문서를 제공한다.

개발자는 ate.dev에서 안내서와 아키텍처 문서를 볼 수 있고, GitHub의 agent-substrate/substrate 저장소에서 코드를 확인할 수 있다. CNCF Slack의 substrate-dev 및 substrate-user 채널도 커뮤니티 참여 경로다. 구글은 KubeCon 행사에서 Worker 풀 배포와 특정 시점의 상태를 저장한 스냅샷 복원을 시험하는 워크숍, GKE에서 여러 에이전트를 풀로 실행하는 데모를 안내했다.

이 기증의 핵심은 에이전트 상태 보존과 안전한 실행을 공개 Kubernetes 기반으로 묶되, 운영의 초점을 예열 자원과 상태 저장 관리로 옮기는 데 있다.