Intel이 2026년 11월 11일 공개한 Dokimi 0.2.0은 명령을 기능별 그룹으로 정리하고, 측정 결과가 없거나 유효하지 않은 평가를 통과로 처리하지 않도록 바꿨다. 평가와 저장소 검증을 자동화하는 개발자는 새 명령 이름과 종료 코드에 맞춰 스크립트를 손봐야 한다.

1. 명령 이름이 기능별 그룹으로 이동했다

기존 명령을 실행하면 새 명령 이름을 알리는 메시지가 나오고 종료 코드 2로 끝난다. 예를 들어 점수를 계산하던 eval score는 eval score pointwise로 바뀌었다.

평가와 점수 계산은 eval 아래로 모으고, 자료 목록·점검은 catalog로 재배치했다. 추적과 데이터 입출력도 별도 그룹으로 옮겼다. 자동화 스크립트는 기존 이름을 새 이름으로 바꾸고, 종료 코드에 따른 후속 처리도 함께 점검해야 한다.

2. 측정 누락과 잘못된 점수가 평가 실패가 된다

작업 실행·평가 점검·저장소 실행은 계획된 평가 항목이 오류를 내거나 채점되지 않거나 누락되면 종료 코드 1을 반환한다. 문서 점검과 답변을 채점하는 모델인 심판의 문구·일치도 검사는 엄격 모드, 실패 판정을 엄격하게 적용하는 설정에서 이 기준을 적용한다. 평가를 실행했다는 사실보다 실제로 채점된 결과가 있는지를 따지는 변화다.

숫자로 정의되지 않는 값인 NaN이나 무한대 점수도 통과 판정을 받지 못한다. 문서 점검은 엄격 모드에서 NaN 구간을 실패로 처리한다. 기준선, 비교 기준이 되는 기존 평가 결과 비교도 엄격 모드에서는 모델 또는 제공자가 누락되거나 알 수 없음으로 표시되면 실패한다.

빈 입력을 성공으로 보던 점검도 달라졌다. 카탈로그 루트, 자료를 찾기 시작하는 최상위 폴더에 SKILL.md가 없거나 보고서 생성 대상에 평가 결과가 없으면 종료 코드 1을 반환한다. 벤치마크 사전 점검에서 파일로 지정한 입력이 없거나 읽을 수 없거나 비어 있으면 종료 코드 2다.

3. 종료 코드와 비교 결과의 해석도 달라졌다

종료 코드의 기본 체계는 성공 0, 검사·통과 기준·실행 실패 1, 잘못된 입력이나 사용법 2다. 저장소 실행과 평가 점검은 일부 잘못된 입력에도 1을 반환하므로, 자동화에서는 실행한 명령까지 함께 살펴야 한다.

도구 선호도 명령은 예산 때문에 멈추면 3을 반환하고 부분 결과를 남긴다. 다른 명령은 예산 중단 시 1을 반환한다. 백엔드·실행 기록·추적 명령이 JSON 출력 모드에서 비정상 종료하면 5를 반환한다.

질문별 점수 차이에 대한 부호 반전 검정이 확률값 계산과 저장소 비교의 구간 추정에 쓰인다. 질문마다 차이의 방향을 뒤집어 보며 관측된 차이를 평가하는 방식이며, 구간 추정은 점수 차이를 단일 값 대신 범위로 제시한다. 보고서는 이 검정의 확률값과 점수가 달라진 쌍의 수를 보여 준다.

저장소 비교에는 차이 계산 방법도 표시되며, 작업이 5개 이하이면 구간 값은 비어 있다. 두 평가군 모두에서 점수를 받은 질문이 없으면 기준선 대비 차이도 비어 있다. 비교 결과를 읽을 때는 차이의 크기와 함께 짝지어 채점된 결과가 있는지도 살펴볼 수 있다.

4. 새 검증 기능과 재실행 비용을 함께 따져야 한다

저장소 예산을 살피는 명령과 평가가 얼마나 넓게 이뤄졌는지 점검하는 기능이 추가됐다. 기준선 대비 하락 폭과 짝지어 비교할 최소 결과 수에 통과 기준을 거는 기능은 선택해서 켤 수 있다. 여러 모델이나 저장소 변경을 점검하는 개발자는 평가 범위를 넓히면서 허용할 변화의 기준도 설정할 수 있다.

이처럼 검증 수단은 늘었지만, 이전 응답을 재사용하던 작업에는 재호출 비용이 생길 수 있다. Bedrock과 Vertex에서는 심판·역할 설정·질문 생성기·검증기의 기존 캐시 응답, 이전 호출에서 저장한 응답을 재사용하지 않는다. OpenRouter도 같은 대상이며, 응답 저장 키에 스트리밍, 응답을 실시간으로 나눠 보내는 방식 여부가 포함되면서 해당 호출 비용을 한 번 더 지불하게 된다.

출력량 설정도 달라졌다. OpenRouter의 출력 토큰 상한 2000이 해제됐고, 새로움 평가 호출은 --max-tokens를 지정하지 않으면 출력 토큰 16384개를 요청한다. 릴리스 노트는 Bedrock에서 litellm이 보내던 요청은 4096개였다고 설명한다.

5. 전환할 때는 기준선과 키부터 확인한다

점수와 판정은 0.1.0 결과와 직접 비교할 수 없으므로 기준선을 다시 실행해야 한다.

아래 명령을 OPENROUTER_API_KEY가 설정된 상태에서 실행했다면 검증기가 OpenRouter 키를 구글 키로 보냈으므로 해당 키를 교체해야 한다.

eval questions generate --validate --provider google-vertex

Dokimi 0.2.0은 평가의 빈 통과를 막고 검증 수단을 넓히지만, 명령 이전과 기준선 재실행, 일부 호출의 추가 비용을 수반한다.