EvalScope 1.14.1：SafetyBench追加、再採点キャッシュ改善

1. 例示なしで回答する安全性評価と実行前の確認

今回のバージョンではSafetyBenchによる安全性評価が追加された。正解の例を事前に示さずに問題に回答させる方式で、中国語と英語、および中国語のサブセットに対応する。全体の正解率と七つのカテゴリ別の正解率をそれぞれ報告し、全体とカテゴリ別の結果を併せて確認できる。

予測を解釈できない場合や応答が欠けている場合は不正解として計算する。任意の答えで穴埋めしないため、適切に応答できなかった事例も正解率に反映される。

コマンドラインの--dry-runは設定を解析して出力し、推論、つまりモデルが入力から答えを生成する処理を行わずに終了する。負荷の高い評価を始める前に構成を確認したいユーザーは、このモードで実行設定を確認できる。設定の確認と実際のモデル実行を分けて進められるようになった。

2. 再採点の完了後に保存済みスコアを再利用

キャッシュは計算済みの結果を保存し、次の実行で再利用する仕組みだ。以前はrerun_review=Trueで再採点中に失敗すると、通常の実行で過去のスコアが何も通知されずに再利用されることがあった。新たな採点が終わっていないのに、古い成績表が再び使われる形だ。

今回の修正では設定を一括で確定して保存し、再採点がまだ完了していない状態を記録する。元の予測が生成された出所の情報も保持する。予測の出所を維持しつつ、新たな採点が完了したかどうかを別に記録する方式だ。

失敗または中断した再採点は、通常のキャッシュ再利用をブロックする。ユーザーはrerun_review=Trueまたは--rerun-reviewで再採点を完了させる必要がある。予測ファイルは再利用できるが、古いスコアが新しい評価結果として復活することはない。

3. 入力と集計範囲を修正したベンチマーク、モデル性能を比較する標準評価

複数のベンチマークで入力やスコアの計算方法が変わった。VQAv2は公式の方式に合わせてスコアを計算し、ScienceQAは問題のヒントを評価入力に含める。同じモデルでも、どの情報を与えて回答させたかと、どの規則で採点したかを併せて確認すべき変更だ。

ARC-AGI-2は各課題のすべてのテスト入力を評価し、課題ごとに集計する。MMAUは正解が公開されたサブセットのみを使い、答えをデフォルトのAにする処理を廃止した。評価対象の範囲と回答の処理規則を修正した事例だ。

音声認識ではLibriSpeechなどの全データで編集数と参照単語数をそれぞれ合算し、編集数を参照単語数で割った単語誤り率を計算する。TORGOは全データを基準に単語誤り率と文字誤り率、つまり全文字のうち誤認識した割合を報告する。評価データ全体を基準に誤りを集計する。

動画説明の評価であるMSR-VTTとMSVDも、サブセット全体を基準に文の評価スコアを計算する。採点データを何件ずつまとめて処理するかによってスコアが変わる問題を修正し、処理するまとまりの大きさとスコア計算の範囲を分離した。

4. 予測の再利用と再実行を分けるアップグレード

既存の結果と新しい結果を比較する際は、評価バージョンを示すevaluation_versionを確認する必要がある。ScienceQAやSPaRCのように入力の指示が変わった場合は予測を新たに生成する必要があるが、採点方法だけが変わった場合は保存済みの予測を再採点できる。そのため、すべての変更に同じ再実行手順を適用するのではなく、入力の変更か採点の変更かを確認すべきだ。

この変更の利点は、保存済みの予測を活用しながら、再採点に失敗した際に以前のスコアが新しいスコアに混ざることを防ぐ点にある。一方、中断した再採点を完了するための実行が必要で、入力が変わった評価では回答の生成からやり直すコストがかかる。既存のデータをどこまで再利用できるかが、アップグレード計画の基準になる。

インストール手順にも変更がある。LiteLLMはコアのインストール依存関係、つまり実行に必要な外部プログラムやライブラリから外れたため、そのバックエンド、つまり機能別の実行を担う構成要素を使うユーザーは、次のコマンドで別途インストールする必要がある。標準の接続経路で一緒にインストールしていた依存関係を、選択したバックエンドのインストール段階へ移した変更だ。

pip install litellm

今回のリリースは安全性評価の範囲を広げるとともに、採点の修正と失敗からの復旧が結果比較の信頼性を損なわないよう改善した。