Qoder가 코딩 에이전트의 작업 과정을 근거로 분석하는 도구킷, 여러 기능을 묶은 개발 도구인 Better Harness를 오픈소스로 공개했다. 개발자는 에이전트가 무엇을 했고 결과를 어떻게 확인했는지 점검해, 막연한 점수 대신 고칠 문제와 검증 방법을 받아볼 수 있다.
1. 지침과 평가 모델, 실행 도구를 함께 공개
Better Harness는 코딩 에이전트가 일하는 방식을 분석하고 개선하는 도구다. Qoder 발표에 따르면 에이전트가 실행되는 프로그램에 따라 수집할 수 있는 작업 기록과 보고서 형태가 달랐다. Qoder 통합은 공개 당시 가장 완성도가 높은 참조 구현, 기능을 보여 주는 본보기 코드였다.
이번 공개는 세 층으로 구성된다. 문제별 엔지니어링 지침, 평가 기준을 정한 Agent Work Loop 모델, 실제 프로젝트를 분석하는 실행 코드다. 지침만 공개한 것이 아니라 근거를 모으고 판단을 반복할 수 있는 구현까지 저장소에 포함했다. 저장소는 MIT 라이선스, 수정과 재배포를 허용하는 공개 조건으로 배포한다.
회사 발표 기준, 공개 전 Qoder Desktop에 기능을 넣은 뒤 첫 사흘 동안 10만 명이 사용해 봤다. 데스크톱 제품에서 먼저 쓰인 평가 체계를 다른 코딩 에이전트에도 제공하는 공개다.
2. 설정의 존재보다 작업에서의 사용을 따진다
평가 단위는 하나의 목표와 완료 기준을 가진 작업이며, 세션은 작업 기록이 이어지는 실행 단위로, 그 과정의 근거를 담는 자료다. 예를 들어 테스트가 있는지 확인하는 목록과 달리, 도구는 에이전트가 실행한 테스트가 변경 부분과 주요 위험을 실제로 확인했는지 살핀다.
모델은 작업 이해, 실행 통제, 변경 검증, 안정적 전달, 학습 축적의 다섯 차원과 열다섯 개 점검 항목을 둔다. 근거도 구성 요소가 있는 상태, 작업 경로에 연결된 상태, 실제 실행 결과가 남은 상태, 이후 비교 결과가 뒷받침하는 상태로 나눠 기록한다. 확인할 수 없었던 경우와 실제로 없었던 경우도 구별한다.
모델 문서는 현재 작업의 앞 네 차원에 근거 수준, 평가에 쓰는 증거의 충실도별 점수 상한, 받을 수 있는 점수의 최댓값을 둔다. 근거가 강할수록 허용되는 점수 범위가 넓어지지만, 필수 점검이 해결되지 않거나 막히면 해당 차원은 59점을 넘지 못한다. 학습 축적 차원은 별도로 에이전트가 35~100 사이의 정수를 판단한다.
표: 근거 수준별 앞 네 차원의 점수 상한
조건: 저장소의 Agent Work Loop 모델 기준. 앞 네 차원에 적용하며 학습 축적은 별도 규칙을 따른다.
단위: 점
| 근거 수준 | 점수 상한 |
|---|---|
| 없음·관찰되지 않음·해당 없음 | 59 |
| 존재 | 74 |
| 연결 | 84 |
| 실행 | 94 |
| 이후 결과로 뒷받침 | 100 |
3. 리포트는 고칠 문제와 확인 방법을 제시
분석은 세션에서 에이전트가 한 일, 프로젝트가 실행·진단·검증을 지원하는 방식, 에이전트가 활용하는 설정·도구인 에이전트 자산의 설정과 사용 근거를 각각 살핀다. 마지막에 이 근거를 평가 모델과 대조해 종합한다. 보고서는 점수 외에도 우선순위가 붙은 개선 항목을 내놓으며, 각 항목에는 영향, 근거, 수정 범위와 확인 방법이 포함된다.
저장소에는 Codex로 Better Harness 프로젝트 자체를 분석해 저장한 예시 보고서가 있다. 관찰된 세션 하나에서 편집·전달 없이 수행한 분석이며, 다섯 차원의 점수는 다음과 같다.
표: 저장소 예시 리포트의 차원별 점수
조건: 저장소에 고정된 Codex 자가분석 예시 한 건. 관찰 세션 하나에서 편집·전달 없이 분석.
단위: 점
| 차원 | 점수 |
|---|---|
| 작업 이해 | 78 |
| 실행 통제 | 56 |
| 변경 검증 | 72 |
| 안정적 전달 | 48 |
| 학습 축적 | 35 |
예시의 전체 작업 효과성 점수는 58점이며, 자산 상태·수정 진행 점수는 0점이다. 보고서는 전달 절차의 설명은 있지만 현재 결과의 인수 근거, 결과를 받아들일 수 있다고 판단할 증거와 설치 상태를 복구할 경로가 부족하다고 짚었다. 점수와 함께 어느 절차를 보완할지 읽을 수 있는 구성이다.
4. 쓰는 호스트, 도구를 실행하는 프로그램 환경에 맞춰 설치하고 실행
공개 당시 Claude Code와 Codex가 지원됐으며, 설치 방법은 프로그램마다 다르다. 아래는 Claude Code에서 저장소를 등록하고 플러그인, 기능을 덧붙이는 설치 항목을 설치하는 공개 문서의 예시다.
/plugin marketplace add QoderAI/better-harness
/plugin install better-harness@better-harnessClaude Code는 설치 후 분석할 프로젝트에서 새 세션을 열고 /better-harness를 실행하면 된다.
Qoder Desktop에는 별도 설치 없이 내장돼 있으며, Quest 화면에서 베타, 정식 출시 전 시험 기능 항목을 고를 수도 있다.
Cursor는 공개 당시 소스를 불러오는 방식으로 지원했다.
Qoder CLI와 JetBrains 플러그인도 데스크톱 앱이 설치된 환경에서 이용할 수 있다고 안내했다.
5. 근거를 얻는 만큼 검토와 보정도 필요
이 도구의 실익은 점수보다 판단을 다시 살펴볼 수 있다는 데 있다. 개선 항목마다 관찰 근거와 최소 수정 범위, 확인 절차를 연결해 팀이 문제를 하나씩 고치고 같은 종류의 이후 작업에서 변화가 있었는지 검토하도록 돕는다. 반면 호스트별 설치와 출력 방식은 익혀야 하며, 근거를 읽고 제안된 수정을 검증하는 일도 필요하다.
다만 예시 보고서는 저장소에 포함된 한 건으로 장기 개선 효과를 보여 주는 자료는 아니다. Qoder도 모델이 익숙한 프로젝트와 작업 유형을 중심으로 만들어져 다른 기술 환경이나 팀 조건에서 놓치는 부분이 있을 수 있다고 밝혔다.
공개 문서가 제안하는 출발점은 근거와 영향이 분명한 문제 하나다. 이를 고치고 검증한 뒤 유사 작업을 다시 관찰해, 이번 수정이 다음 작업에서도 도움이 됐는지 확인하는 방식이다.
Better Harness의 핵심은 에이전트의 점수를 매기는 데 그치지 않고, 작업에서 확인된 근거를 다음 개선으로 연결하는 데 있다.