Qoderは、コーディングエージェントの作業過程を根拠に分析するツールキット、複数の機能をまとめた開発ツールであるBetter Harnessをオープンソースで公開した。開発者はエージェントが何を行い、結果をどう確認したかを点検し、漠然としたスコアの代わりに修正すべき問題と検証方法を得られる。

1. 指針と評価モデル、実行ツールを同時に公開

Better Harnessは、コーディングエージェントの作業方法を分析し、改善するツールだ。Qoderの発表によると、エージェントを実行するプログラムによって収集できる作業記録やレポートの形式が異なる。Qoderとの統合は、公開時点で最も完成度の高い参照実装、つまり機能を示す見本となるコードだった。

今回の公開は3層で構成される。問題別のエンジニアリング指針、評価基準を定めたAgent Work Loopモデル、実際のプロジェクトを分析する実行コードだ。指針だけでなく、根拠を集めて判断を繰り返せる実装もリポジトリに含めた。リポジトリは、修正と再配布を認める公開条件であるMITライセンスで配布される。

同社の発表によると、公開前にQoder Desktopへ機能を組み込んだ後、最初の3日間で10万人が試した。デスクトップ製品で先に使われた評価の仕組みを、他のコーディングエージェントにも提供する公開だ。

2. 設定の有無より作業での使用を問う

評価単位は1つの目標と完了基準を持つ作業であり、セッションは作業記録が続く実行単位で、その過程の根拠を含む資料となる。例えばテストの有無を確認するチェックリストとは異なり、このツールはエージェントが実行したテストが変更箇所と主要なリスクを実際に確認したかを調べる。

モデルは、作業理解、実行制御、変更検証、安定した引き渡し、学習の蓄積という5つの観点と15の点検項目を設けている。根拠も、構成要素が存在する状態、作業経路に結び付いた状態、実際の実行結果が残る状態、後の比較結果が裏付ける状態に分けて記録する。確認できなかった場合と、実際に存在しなかった場合も区別する。

モデル文書は、現在の作業に関する最初の4つの観点に、根拠の水準、つまり評価に使う証拠の充実度に応じたスコアの上限を設けている。根拠が強いほど許容されるスコアの範囲は広がるが、必須点検が未解決または行き詰まっている場合、その観点は59点を超えられない。学習の蓄積については、別途エージェントが35~100の整数を判断する。

表：根拠の水準別に見た最初の4つの観点のスコア上限

条件：リポジトリのAgent Work Loopモデルに基づく。最初の4つの観点に適用し、学習の蓄積は別の規則に従う。

単位：点

設定の有無より作業での使用を問う
根拠の水準スコア上限
なし・未観察・該当なし59
存在74
関連付け84
実行94
後の結果による裏付け100

3. レポートは修正すべき問題と確認方法を提示

分析では、セッションでエージェントが行ったこと、プロジェクトが実行・診断・検証を支援する仕組み、エージェントが活用する設定やツールであるエージェント資産の設定と使用の根拠をそれぞれ調べる。最後に、これらの根拠を評価モデルと照合して総合する。レポートはスコアのほかに優先順位付きの改善項目を提示し、各項目には影響、根拠、修正範囲、確認方法が含まれる。

リポジトリには、CodexでBetter Harnessプロジェクト自体を分析して保存したレポートの例がある。観察された1つのセッションで、編集や引き渡しを伴わずに行った分析で、5つの観点のスコアは次の通りだ。

表：リポジトリのサンプルレポートにおける観点別スコア

条件：リポジトリに固定されたCodexの自己分析例1件。観察した1つのセッションで、編集や引き渡しを伴わずに分析。

単位：点

レポートは修正すべき問題と確認方法を提示
観点スコア
作業理解78
実行制御56
変更検証72
安定した引き渡し48
学習の蓄積35

この例の作業全体の有効性スコアは58点で、資産の状態・修正進捗のスコアは0点だ。レポートは、引き渡し手順の説明はあるものの、現在の結果の受け入れ根拠、つまり結果を受け入れられると判断する証拠と、インストール状態を復旧する経路が不足していると指摘した。スコアとともに、どの手順を補うべきかを読み取れる構成だ。

4. 利用するホスト、つまりツールを実行するプログラム環境に合わせてインストールし実行

公開時点ではClaude CodeとCodexに対応し、インストール方法はプログラムごとに異なる。以下は、Claude Codeでリポジトリを登録し、機能を追加するインストール項目であるプラグインを導入する、公開文書の例だ。

/plugin marketplace add QoderAI/better-harness
/plugin install better-harness@better-harness

Claude Codeでは、インストール後に分析対象のプロジェクトで新しいセッションを開き、/better-harnessを実行すればよい。

Qoder Desktopには別途インストールせずに利用できる形で組み込まれており、Quest画面でベータ、つまり正式リリース前の試験機能の項目を選ぶこともできる。

Cursorは、公開時点ではソースを読み込む方式で対応していた。

Qoder CLIとJetBrainsプラグインも、デスクトップアプリがインストールされた環境で利用できると案内した。

5. 根拠が得られる一方、検討と補正も必要

このツールの実益は、スコアよりも判断を見直せる点にある。改善項目ごとに観察の根拠、最小限の修正範囲、確認手順を結び付け、チームが問題を1つずつ修正し、その後の同種の作業で変化があったかを検討するのを助ける。一方で、ホスト別のインストール方法や出力形式を覚える必要があり、根拠を読み、提案された修正を検証する作業も必要だ。

ただし、サンプルレポートはリポジトリに含まれる1件であり、長期的な改善効果を示す資料ではない。Qoderも、モデルが慣れたプロジェクトや作業の種類を中心に作られており、異なる技術環境やチームの条件では見落とす部分があり得ると述べた。

公開文書が提案する出発点は、根拠と影響が明確な問題1つだ。それを修正して検証した後、類似作業を再び観察し、今回の修正が次の作業にも役立ったかを確認する方法である。

Better Harnessの核心は、エージェントを採点するだけでなく、作業で確認された根拠を次の改善につなげる点にある。