같은 저장소에서 반복 작업하는 개발자는 AI 코딩 에이전트가 매번 익숙한 절차를 다시 찾고 쓰지 않는 도구까지 불러오는 비용을 줄일 수 있다. UC Berkeley와 Microsoft Research, Microsoft Security가 만든 오픈소스 플러그인 TokenEconomizer는 이전 세션에서 얻은 저장소별 경험을 다음 작업에 활용한다.
에이전트나 모델을 바꾸지 않고 기존 작업 흐름에 함께 붙여 쓰는 방식이다.
1. 반복 작업과 실패가 비용을 키운다
Microsoft Research는 Claude Code로 오픈소스 파이썬 버그 수정 벤치마크, 과제 해결 능력을 재는 시험인 SWE-Bench의 과제 60개를 살펴봤다. 저장소별로 과제를 이어서 실행하자, 완료 과제가 5개 이상 쌓인 저장소에서는 도구 호출의 30%가 그 저장소의 과거 작업을 반복했다. 다른 저장소의 기록과 일치한 호출은 7%였다.
에이전트는 매 턴 도구 설명 23개를 받았지만, 그중 16개는 한 번도 호출되지 않았다. 실패한 과제는 전체의 17%였으나 전체 지출의 32%를 차지했다. 익숙한 절차를 다시 찾는 일, 쓰지 않는 도구 설명, 해결되지 않는 시도가 각각 토큰 비용을 보탰다는 분석이다.
연구팀은 고정된 비용 절감 전략을 쓰는 오픈소스 플러그인 세 개도 시험했다. 각 플러그인은 일부 저장소에서 비용을 낮췄지만 다른 저장소에서는 그렇지 않았다. 연구팀은 저장소의 작업 이력에 맞춰 절감 방식을 조정할 필요가 있다고 봤다.
2. 세션 기록을 다음 작업의 지침으로
TokenEconomizer는 세션이 끝나면 기록을 읽고 저장소에 대해 파악한 내용을 갱신한다. 마이크로 스킬, 반복 작업을 요약한 작은 지침은 반복해서 확인된 작업 패턴을 한 줄 메모로 만든다. 여러 세션에서 패턴이 확인된 뒤에만 에이전트의 시작 컨텍스트, 작업 시작 때 모델에 주는 정보에 넣으며, 뒤에 나온 근거가 메모와 맞지 않으면 이를 거둬들인다.
원문 도식은 시험 실행 방법을 다음 명령으로 기억하는 예를 든다.
python -m pytest도구 가지치기, 쓸 가능성 낮은 도구를 미리 빼는 방식은 저장소 이력상 쓸 가능성이 낮은 도구를 제외하되 명령 실행과 파일 편집에 필요한 핵심 도구는 남긴다. 제외한 도구도 필요하면 복원할 수 있다.
실패 반복 개입은 같은 오류가 이어질 때 별도 모델로 작업이 막혔는지, 아직 진전 중인지 살핀다. 막혔다고 판단하면 다른 접근을 제안하는 짧은 메모를 전달한다. 이 세 방식은 에이전트가 이미 제공하는 인터페이스로 동작한다.
3. 버그 수정 과제에서 비용 감소
평가는 SWE-Bench의 과제 277개와 저장소 6곳, 에이전트와 모델의 조합 5개를 대상으로 했다. 각 저장소에서는 이전 세션 기록이 없는 상태로 시작했다. 회사 발표 기준 평균 비용은 18.4~30.9% 감소했고, 30개 저장소·조합 쌍 모두에서 가장 큰 절감 효과를 보였다. 과제 성공률은 대체로 유지됐으며, 한 번의 시도로 과제를 해결한 비율은 다섯 조합 중 네 조합에서 올랐다.
비교 대상으로 추론 강도, 모델이 답을 찾는 데 쓰는 계산량을 낮추는 방법도 살폈다. 이 방법은 비슷하거나 더 큰 비용 절감을 냈지만 성능 저하가 컸다고 연구팀은 보고했다. TokenEconomizer의 세 기법은 각각 절감에 기여했고, 함께 썼을 때 절감 폭이 가장 컸다.
4. 다른 과제 구조에서도 절감
회사 발표 기준 순차 웹 개발 벤치마크 Web-Bench에서는 비용이 16.0~21.2% 낮아졌다. 매 과제마다 새 저장소를 다루는 보안 감사, 취약점을 점검하는 보안 검토에서는 6.4~19.6% 감소했다. 연구팀은 경험 축적에 유리한 반복 작업뿐 아니라 저장소를 매번 바꾸는 과제에서도 절감 효과를 보고했다.
5. 초기 학습 부담을 누적 절감으로 회수
플러그인은 별도 API 키 없이 기존 에이전트와 모델을 수정하지 않고 동작하며, 학습한 내용은 개발자 컴퓨터에 보관한다.
반복 탐색을 줄이는 대신 기록 분석과 판정에 추가 모델 호출이 들며, 회사 발표 기준 절감률에는 이 비용도 포함됐다. 초기 과제는 학습 비용 때문에 더 비쌀 수 있지만, Claude Code 평가에서는 모든 저장소의 누적 비용이 여섯 번째 과제까지 기본 설정 아래로 내려갔다. 도입 판단의 기준은 첫 작업의 요금보다 같은 저장소에서 이어 갈 작업의 누적 비용에 가깝다.
실패 반복 개입 뒤에도 작업이 막히면 플러그인은 직접 중단하지 않고 개발자에게 알린다.
TokenEconomizer는 반복 사용으로 쌓인 저장소 경험을 비용 절감에 연결하며, 이득은 초기 학습 부담을 지나 경험이 축적된 뒤 커진다.
