EvalScope 1.14.1은 SafetyBench 안전 평가와 설정 사전 점검 기능을 더하고, 재채점이 실패한 뒤 옛 점수가 새 결과처럼 재사용되던 문제를 고쳤다. 모델 평가를 맡은 개발자는 새로운 안전 평가 경로를 활용할 수 있고, 기존 결과를 다시 채점할 때는 예측 자료를 재사용하면서 점수 상태를 확인할 수 있다.

1. 예시 없이 답하는 안전 평가와 실행 전 점검

이번 버전은 SafetyBench를 통한 안전 평가를 추가했다. 정답 예시를 미리 보여주지 않고 문제에 답하게 하는 방식으로, 중국어와 영어 및 중국어 부분집합을 지원한다. 전체 정확률과 일곱 범주의 정확률을 각각 보고해 전체 결과와 범주별 결과를 함께 살펴볼 수 있다.

예측을 해석할 수 없거나 응답이 빠진 경우는 오답으로 계산한다. 임의의 답을 골라 빈자리를 채우지 않으므로, 응답을 제대로 내놓지 못한 사례도 정확률에 반영된다.

명령줄의 --dry-run은 설정을 해석해 출력한 뒤 추론, 모델이 입력으로 답을 생성하는 과정 없이 종료한다. 무거운 평가를 시작하기 전에 구성 내용을 확인하려는 사용자는 이 모드로 실행 설정을 살펴볼 수 있다. 설정 점검과 실제 모델 실행을 나눠 진행할 수 있게 된 것이다.

2. 재채점이 끝나야 저장된 점수를 다시 활용

캐시는 이미 계산한 결과를 저장해 다음 실행에 재활용하는 장치다. 이전에는 rerun_review=True로 점수를 다시 매기다 실패하면, 일반 실행에서 과거 점수를 조용히 재사용할 수 있었다. 새 채점이 끝나지 않았는데도 옛 성적표가 다시 쓰이는 셈이다.

이번 수정은 설정을 한 번에 확정해 저장하고, 아직 재채점이 끝나지 않았다는 상태를 남긴다. 원래 예측이 만들어진 출처 정보도 보존한다. 예측의 출처는 유지하면서 새 채점의 완료 여부를 따로 남기는 방식이다.

실패하거나 중단된 재채점은 일반 캐시 재사용을 차단한다. 사용자는 rerun_review=True 또는 --rerun-review로 재채점을 완료해야 한다. 예측 파일은 다시 사용할 수 있지만 옛 점수가 새 평가 결과로 되살아나지는 않는다.

3. 입력과 집계 범위를 바로잡은 벤치마크, 모델 성능을 비교하는 표준 평가

여러 벤치마크는 입력이나 점수 계산 방식이 달라졌다. VQAv2는 공식 방식에 맞춰 점수를 계산하고, ScienceQA는 문제의 힌트를 평가 입력에 포함한다. 같은 모델이라도 어떤 정보를 주고 답하게 했는지와 어떤 규칙으로 채점했는지를 함께 살펴야 하는 변경이다.

ARC-AGI-2는 각 과제의 모든 테스트 입력을 평가해 과제별로 합산한다. MMAU는 정답이 공개된 부분집합만 사용하며, 답을 기본값 A로 정하던 처리를 없앴다. 평가 대상의 범위와 답을 처리하는 규칙을 고친 사례다.

음성 인식에서는 LibriSpeech 등의 전체 자료에서 편집 수와 기준 단어 수를 각각 합산하고, 편집 수를 기준 단어 수로 나눈 단어 오류율을 계산한다. TORGO는 전체 자료 기준으로 단어 오류율과 문자 오류율, 전체 문자 중 잘못 인식한 비율을 보고한다. 전체 평가 자료를 기준으로 오류를 집계한다.

영상 설명 평가인 MSR-VTT와 MSVD도 전체 부분집합을 기준으로 문장 평가 점수를 계산한다. 채점할 자료를 몇 개씩 묶어 처리하는지에 따라 점수가 달라지던 문제를 고쳐, 처리 묶음의 크기와 점수 계산의 범위를 분리했다.

4. 예측 재사용과 재실행을 나누는 업그레이드

기존 결과와 새 결과를 비교할 때는 평가 버전을 나타내는 evaluation_version을 확인해야 한다. ScienceQA나 SPaRC처럼 입력 지시가 달라진 경우에는 예측을 새로 생성해야 하지만, 채점 방식만 바뀐 경우에는 저장된 예측을 다시 채점할 수 있다. 따라서 모든 변경에 같은 재실행 절차를 적용하기보다 입력 변경인지 채점 변경인지 살펴야 한다.

변경의 이점은 저장된 예측을 살리면서도 실패한 재채점의 이전 점수가 새 점수로 섞이는 일을 막는 데 있다. 대신 중단된 재채점을 마무리하는 실행이 필요하고, 입력이 바뀐 평가에서는 답변 생성부터 다시 진행하는 비용이 든다. 기존 자료를 어디까지 재활용할 수 있는지가 업그레이드 계획의 기준이 된다.

설치 절차에도 변화가 있다. LiteLLM은 핵심 설치 의존성, 실행에 필요한 외부 프로그램이나 라이브러리에서 빠져, 해당 백엔드, 기능별 실행을 맡는 구성요소를 쓰는 사용자는 다음 명령으로 별도 설치해야 한다. 기본 연결 경로에서 함께 설치하던 의존성을 선택한 백엔드의 설치 단계로 옮긴 변화다.

pip install litellm

이번 릴리스는 안전 평가 범위를 넓히는 동시에, 채점 수정과 실패 복구가 결과 비교의 신뢰성을 해치지 않도록 다듬었다.