同じリポジトリで繰り返し作業する開発者は、AIコーディングエージェントが毎回おなじみの手順を探し直し、使わないツールまで読み込むコストを減らせる。UC Berkeley、Microsoft Research、Microsoft Securityが開発したオープンソースプラグインTokenEconomizerは、過去のセッションで得たリポジトリ別の経験を次の作業に活用する。エージェントやモデルを変えず、既存のワークフローに組み込んで使う方式だ。
1. 反復作業と失敗がコストを増やす
Microsoft ResearchはClaude Codeを使い、オープンソースのPythonバグ修正ベンチマークで、タスク解決能力を測る試験であるSWE-Benchの60タスクを調べた。リポジトリごとにタスクを続けて実行すると、完了タスクが5件以上蓄積したリポジトリでは、ツール呼び出しの30%がそのリポジトリの過去の作業を繰り返していた。別のリポジトリの記録と一致した呼び出しは7%だった。
エージェントは毎ターン23個のツール説明を受け取ったが、そのうち16個は一度も呼び出されなかった。失敗したタスクは全体の17%だったが、総支出の32%を占めた。おなじみの手順の再探索、使わないツールの説明、解決に至らない試行が、それぞれトークンコストを増やしたという分析だ。
研究チームは、固定的なコスト削減戦略を使うオープンソースプラグインも三つ試した。各プラグインは一部のリポジトリでコストを下げたが、ほかのリポジトリではそうならなかった。研究チームは、リポジトリの作業履歴に合わせて削減方法を調整する必要があると考えた。
2. セッション記録を次の作業の指針に
TokenEconomizerはセッションが終わると記録を読み、リポジトリについて把握した内容を更新する。反復作業を要約した小さな指針であるマイクロスキルは、繰り返し確認された作業パターンを1行のメモにする。複数のセッションでパターンが確認されてから、エージェントの開始コンテキスト、つまり作業開始時にモデルに渡す情報に加える。後から得た根拠がメモと合わなければ撤回する。
原文の図は、テストの実行方法を次のコマンドとして記憶する例を示している。
python -m pytestツールの枝刈りは、使う可能性の低いツールをあらかじめ外す方式だ。リポジトリの履歴上、使う可能性の低いツールを除外する一方、コマンド実行とファイル編集に必要な中核ツールは残す。除外したツールも必要なら復元できる。
失敗の反復への介入では、同じエラーが続くと別のモデルで作業が行き詰まったのか、まだ進展しているのかを確認する。行き詰まったと判断すれば、別のアプローチを提案する短いメモを渡す。この三つの方式は、エージェントがすでに提供しているインターフェースで動作する。
3. バグ修正タスクでコスト減少
評価はSWE-Benchの277タスクと6リポジトリ、エージェントとモデルの5通りの組み合わせを対象とした。各リポジトリでは過去のセッション記録がない状態から始めた。同社発表によると平均コストは18.4~30.9%減少し、リポジトリと組み合わせの30ペアすべてで最大の削減効果を示した。タスク成功率はおおむね維持され、1回の試行でタスクを解決した割合は、五つの組み合わせのうち四つで上昇した。
比較対象として、推論強度、つまりモデルが答えを探すのに使う計算量を下げる方法も調べた。この方法は同程度かそれ以上のコスト削減をもたらしたが、性能低下が大きかったと研究チームは報告した。TokenEconomizerの三つの手法はそれぞれ削減に寄与し、併用したときに削減幅が最大になった。
4. 異なるタスク構造でも削減
同社発表によると、逐次的なウェブ開発ベンチマークWeb-Benchではコストが16.0~21.2%下がった。タスクごとに新しいリポジトリを扱うセキュリティ監査、つまり脆弱性を点検するセキュリティレビューでは6.4~19.6%減少した。研究チームは、経験を蓄積しやすい反復作業だけでなく、リポジトリを毎回変えるタスクでも削減効果を報告した。
5. 初期学習の負担を累積削減で回収
プラグインは別途APIキーを用意せず、既存のエージェントやモデルを変更せずに動作し、学習した内容は開発者のコンピューターに保存する。
反復的な探索を減らす代わりに、記録の分析と判定に追加のモデル呼び出しが必要となり、同社発表の削減率にはこのコストも含まれる。初期タスクは学習コストのため高くなる場合があるが、Claude Codeの評価では、すべてのリポジトリの累積コストが6番目のタスクまでにデフォルト設定を下回った。導入判断の基準は、最初の作業の料金より、同じリポジトリで続ける作業の累積コストに近い。
失敗の反復への介入後も作業が行き詰まっている場合、プラグインは自ら停止させず、開発者に知らせる。
TokenEconomizerは反復利用で蓄積したリポジトリの経験をコスト削減につなげ、そのメリットは初期学習の負担を経て経験が蓄積した後に大きくなる。
