Microsoft Research Asia가 배포에 쓰던 에이전트를 다시 만들지 않고 강화학습에 연결하는 Agent Lightning v1.0을 공개했다. 에이전트가 모델에 보내는 요청을 프레임워크의 중계 지점으로 연결하면 기존 실행 구조를 유지한 채 학습할 수 있어, 개발자는 훈련용 에이전트를 별도로 복제하는 부담을 덜 수 있다.

1. 훈련용 복제본 대신 실제 하네스를 쓴다

하네스는 에이전트의 문맥 관리와 도구 실행을 조율하는 실행 틀이다. 기존 에이전트 강화학습 시스템에서는 훈련 프레임워크가 환경과 주고받는 과정을 관리했기 때문에 이 실행 틀을 훈련 환경 안에 다시 구현해야 했다.

Agent Lightning은 에이전트와 모델 사이에 언어 모델 중계기를 둔다. 개발자는 기존에 모델을 호출하던 주소를 중계기로 바꾸고, 에이전트는 평소 방식대로 실행한다. 프레임워크는 호출과 응답을 기록해 훈련에 활용한다. v1.0은 배포에 쓰는 에이전트 하네스가 강화학습에도 직접 참여하는 접근을 ‘하네스 기반 에이전트 강화학습’으로 정리했다.

2. 세 구성 요소가 에이전트 실행과 훈련을 잇는다

회사 설명에 따르면 전체 프레임워크, 여러 기능을 엮어 개발을 돕는 기반은 약 3,500줄이며, 모델 호출을 기록하는 API 게이트웨이, 에이전트를 실행하는 컨트롤러, 실행 결과를 학습 자료로 바꾸는 훈련기로 구성된다. 컨트롤러는 로컬 프로세스나 표준 Kubernetes 작업으로 에이전트를 실행하며, verl 기반 훈련기는 그 결과를 받아 학습 샘플을 구성한다.

개발자가 연결할 곳은 기존 하네스의 모델 호출 주소다. 이를 게이트웨이로 바꾸는 방식으로 대체로 훈련에 연결할 수 있다. 실행과 학습을 분리해 두었으므로 하네스 자체를 훈련 프레임워크 안으로 옮기는 작업을 줄이는 설계다.

3. 하네스가 나누는 샘플을 훈련 단위로 다룬다

하네스가 실행 흐름을 맡으면 훈련 시스템에는 모델 요청과 응답이 차례로 들어온다. 한 번의 작업이 여러 샘플로 나뉘므로, 샘플이 많이 생긴 작업에 학습 비중이 쏠리지 않도록 작업 단위로 묶어 다루는 것이 핵심이다.

연구진은 행동이 기준보다 얼마나 나았는지 평가하는 ‘이점 계산’과 학습 오차의 비중을 맞추는 ‘손실 정규화’를 작업 단위로 적용했다. 회사 발표 기준, Qwen3.5-9B의 SWE-smith 검증 세트 결과를 그린 학습 200단계 그래프에서 두 방법을 함께 적용한 방식의 검증 보상은 약 0.37로 비교 방식 중 가장 높았다.

이점 계산만 작업 단위로 바꾼 방식은 응답 선택의 불확실성을 나타내는 정책 엔트로피가 약 0.65까지 올랐다. 두 방법을 함께 쓴 방식은 이 값이 더 낮고 안정적이었다는 것이 회사의 설명이다.

4. 같은 GPU로 실행과 업데이트를 이어 간다

에이전트별 실행 시간 차이가 크면 동기식 학습은 가장 늦은 실행을 기다리며 GPU를 놀릴 수 있다. 완전 비동기 방식은 활용률을 높이는 대신 실행과 학습에 별도 GPU 자원을 둔다. Agent Lightning v1.0의 ‘동거형 비동기 강화학습’은 한 GPU 묶음에서 에이전트 실행과 모델 업데이트를 번갈아 처리한다.

실행 결과가 충분히 모이면 새 요청을 잠시 멈추고 진행 중인 요청을 마친 뒤 모델을 업데이트한다. 이후 실행을 재개하므로 외부 하네스가 이 전환을 직접 관리할 필요가 없다.

회사 발표 기준으로 전체 처리 속도는 동기식 강화학습보다 약 2배 빨랐고, 기존 비동기 방식보다 적은 GPU를 사용했다. 원문의 자원 배치 도해는 동기식과 동거형 방식에 각각 GPU 4개, 비동기 방식에 GPU 8개를 배치한 예시다.

5. 성능 향상과 운영 부담을 함께 본다

회사는 공개 데이터셋 SWE-smith와 코딩 에이전트 mini-SWE-agent로 데이터 정제부터 환경 구성, 보상 조작 방어, 강화학습까지 포함한 파이프라인, 여러 처리 단계를 잇는 작업 흐름을 만들었다.

회사 발표 기준, Qwen3.5-9B에 약 6,000개 샘플로 강화학습만 적용하자 SWE-bench Verified에서 첫 시도에 문제를 해결한 비율이 41.8%에서 56.4%로 올랐다. 원문에 제시된 상승 폭은 14.6%포인트다.

표준 Kubernetes 작업을 지원하면 자체 클러스터, 여러 컴퓨터를 묶어 운영하는 환경이나 클라우드, 로컬 인프라를 활용해 상용 샌드박스, 코드를 격리해 시험하는 환경 서비스에 대한 의존을 줄일 수 있다. 반면 여러 에이전트를 동시에 실행하려면 CPU와 메모리 등 연산 자원이 필요하며, 자체 운영을 택한 팀은 인프라 관리 부담을 맡게 된다.

Agent Lightning v1.0은 훈련용 복제 에이전트 대신 실제 하네스를 연결해 학습과 배포 사이의 간극을 줄이는 한편, 실행 인프라 운영을 팀의 몫으로 남긴다.