NVIDIA가 강화학습의 학습용 답변 생성과 추론 워커 운영을 지원하는 Dynamo의 구성을 소개했다. Dynamo는 모델 요청을 처리하는 소프트웨어 층인 서빙 계층이다. 여러 생성 요청을 워커에 배분하고, 반복 입력 계산과 가중치 갱신 부담을 줄이며, 워커 장애 때 요청을 옮기는 방식이다. 강화학습 시스템을 만드는 개발팀은 기존 학습 프레임워크를 유지하면서 생성 인프라를 분리해 운영할 수 있다.
1. 답변 생성 속도가 학습 진행을 좌우한다
강화학습은 보상에 따라 모델을 개선한다. 추론 워커는 모델 출력과 행동, 환경과의 상호작용을 이어 붙인 데이터를 만든다. 이 생성 결과를 rollout이라 부르며, 학습 프레임워크는 이를 평가해 가중치를 갱신한 뒤 워커에 전달한다. 따라서 필요한 데이터가 모이는 속도와 새 가중치의 배포가 다음 학습 단계에 영향을 준다.
작업마다 워커의 실제 부담은 다르다. 추론 문제는 답변 하나로 끝날 수 있지만, 코딩 에이전트는 저장소 탐색부터 편집과 도구 호출, 테스트까지 수행한다. 요청 개수를 똑같이 나눠도 완료 시간은 달라질 수 있고, 한 묶음의 샘플을 기다리는 학습에서는 마지막 작업이 다음 단계의 시작을 늦춘다.
같은 과제의 여러 시도는 지시문이나 저장소 정보처럼 앞부분이 겹치기도 한다. 이 입력을 반복해서 계산하면 새 답변을 만들기 전에 GPU 자원을 소모한다.
학습 중 만들어지는 새 가중치는 알고리즘이 요구하는 시점에 워커에 도착해야 한다. NVIDIA가 제시한 세 과제는 필요한 샘플의 완료 시간을 줄이는 것, 반복되는 앞부분의 재계산을 줄이는 것, 새 가중치를 제때 전달하는 것이다.
2. 학습 프레임워크와 추론 운영을 분리한다
Dynamo는 rollout을 조율하는 학습 프레임워크와 추론 워커 사이에서 요청을 적합한 처리 용량으로 보낸다. 실제 모델 생성은 추론 엔진이 맡는다. 이 구조에서 학습 프레임워크는 최적화와 보상, 환경, 학습 상태를 저장한 체크포인트, 학습에 채택할 샘플을 관리한다.
Dynamo는 라우팅과 워커 관리, 서빙 제어를 맡으며 워커 상태를 관측한다. ModelExpress는 지원되는 연동을 통해 모델 가중치와 산출물을 배포한다. 생성 요청의 경로와 가중치 갱신 경로는 분리된다. 프레임워크가 갱신 대상을 정하고 적용 시점과 샘플 채택을 통제하므로, 서빙 운영을 떼어내도 학습 규칙은 프레임워크에 남는다.
3. 캐시와 워커 부하를 함께 고려한다
동일한 입력을 여러 번 처리할 때 이미 그 입력을 보유한 워커로 보내면 앞부분의 재계산을 줄일 수 있다. 그러나 캐시가 있는 워커만 계속 선택하면 대기열이 길어져 전체 완료가 늦어진다. Dynamo의 라우터는 계산한 키·값을 저장하는 KV 캐시의 재사용 이점과 워커별 부하를 함께 고려해 중복 계산과 대기를 줄이도록 설계됐다.
가중치 배포에서는 ModelExpress가 클러스터에 이미 있는 가중치를 재사용해 원격 저장소에서 다시 불러오는 부담을 줄인다. 호환되는 워커끼리는 NIXL을 사용해 GPU 메모리 사이에서 가중치를 복사할 수 있다. GPU 간 복사는 클러스터 내 가중치와 통신 자원을 사용한다.
전체 모델 대신 갱신된 부분을 압축해 보내는 델타 전송도 지원한다. 전송량을 줄일 수 있지만, 워커가 새 상태를 구성하려면 변경분에 대응하는 기준 가중치를 갖춰야 한다. 학습 프레임워크는 갱신 적용 시점과 샘플 유효성을 계속 관리한다.
4. 워커 장애에 대응하고 실제 적용 범위를 넓힌다
Dynamo는 워커 손실을 감지하면 새 요청을 처리 가능한 다른 워커로 보내고, 대체 워커가 준비되면 라우팅에 합류시킨다. 대체 워커는 체크포인트를 불러온 뒤 이후 변경분을 적용해 학습 진행 상태를 따라잡을 수 있다. 지원 구성에서는 진행 중인 요청을 옮기거나 워커를 정상적으로 비우는 기능도 제공한다.
NVIDIA가 소개한 적용 사례에는 Microsoft AI의 사후 학습 rollout 추론, Cognition의 SWE-1.7 사후 학습 워커 관리와 라우팅, Prime Intellect의 분산 추론 작업 조정이 포함됐다. CoreWeave는 Dynamo와 ModelExpress로 가중치 갱신을 최대 15배 가속했다고 밝혔다. H Company는 두 도구를 사용해 평균 학습 단계 시간을 최대 20%, GPU 사용 시간을 최대 5% 줄였다고 밝혔다.
각 회사가 발표한 15배는 가중치 갱신 속도, 20%는 학습 한 단계의 진행 시간, 5%는 GPU 자원 사용량이라는 서로 다른 개선 지점을 가리킨다.
필요한 샘플의 완료가 늦는지, 반복 입력 계산이 많은지, 가중치 배포가 늦는지에 따라 부하 분산·캐시 재사용·배포 최적화의 우선순위가 달라진다.
오픈소스 연동 대상으로는 verl, NeMo RL, Slime, prime-rl이 제시됐다. 기존 강화학습 프레임워크를 바꾸기보다 이들 시스템과 추론 서빙 계층을 연결해 활용하는 방향이다.
Dynamo의 핵심은 학습 판단권은 프레임워크에 두고, 반복 생성과 가중치 배포, 워커 복구를 서빙 계층에서 조율하는 데 있다.
