在同一代码仓库中反复工作的开发者,可以减少AI编程智能体每次重新摸索熟悉流程、加载用不到的工具所产生的成本。UC Berkeley、Microsoft Research和Microsoft Security开发的开源插件TokenEconomizer,将以往会话中积累的仓库经验用于后续任务。它无需更换智能体或模型,可直接配合现有工作流程使用。

1. 重复操作与失败推高成本

Microsoft Research使用Claude Code考察了SWE-Bench中的60个任务。这是一项衡量开源Python缺陷修复能力的基准测试。按仓库连续执行任务后,在已完成至少5个任务的仓库中,30%的工具调用重复了该仓库以往的操作。与其他仓库记录相符的调用占7%。

智能体每轮收到23个工具的说明,但其中16个从未被调用。失败任务占总数的17%,却占总支出的32%。分析认为,重新摸索熟悉的流程、未使用的工具说明以及未能解决问题的尝试,都增加了token成本。

研究团队还测试了三个采用固定成本节省策略的开源插件。每个插件都在部分仓库中降低了成本,但在其他仓库中并非如此。研究团队认为,有必要根据仓库的任务历史调整节省方式。

2. 将会话记录转化为后续任务的指引

TokenEconomizer在会话结束后读取记录,更新对仓库的认识。微技能是概括重复操作的小型指引,会将反复确认的操作模式整理成一行备忘。只有在多个会话中确认模式后,才将其加入智能体的启动上下文,即任务开始时提供给模型的信息。如果后续证据与备忘不符,就会撤回。

原文示意图举例说明,插件会用以下命令记住运行测试的方法。

python -m pytest

工具剪枝会预先移除不太可能使用的工具。它依据仓库历史排除使用概率较低的工具,同时保留执行命令和编辑文件所需的核心工具。被排除的工具也可在需要时恢复。

失败循环干预会在同一错误持续出现时,借助独立模型判断任务是陷入停滞,还是仍在推进。如果判断已停滞,就发送一条建议尝试其他方法的简短备忘。这三种方式都通过智能体现有的接口运行。

3. 缺陷修复任务的成本下降

评估涵盖SWE-Bench中的277个任务、6个仓库及5种智能体与模型组合。每个仓库均从没有以往会话记录的状态开始。据公司公布的数据,平均成本下降18.4~30.9%,在全部30个仓库与组合配对中,成本节省效果均为最佳。任务成功率总体保持稳定,五种组合中有四种的一次尝试解决率有所上升。

研究还将降低推理强度,即减少模型寻找答案所用计算量的方法作为对照。研究团队报告称,这种方法带来了相近或更大的成本节省,但性能下降较大。TokenEconomizer的三种技术各自都有助于节省成本,结合使用时降幅最大。

4. 在其他任务结构中也能节省成本

据公司公布的数据,在顺序式Web开发基准测试Web-Bench中,成本下降16.0~21.2%。在每个任务都处理新仓库的安全审计,即检查漏洞的安全审查中,成本下降6.4~19.6%。研究团队报告称,不仅在有利于积累经验的重复任务中,在每次更换仓库的任务中也观察到了节省效果。

5. 通过累计节省抵消初期学习开销

该插件无需单独的API密钥,也无需修改现有智能体或模型,学到的内容保存在开发者的电脑上。

在减少重复探索的同时,分析记录和作出判断也需要额外的模型调用,公司公布的节省比例已包含这部分成本。初期任务可能因学习开销而更贵,但在Claude Code评估中,所有仓库的累计成本最迟到第六个任务时都已低于默认设置。判断是否采用时,更应关注同一仓库后续任务的累计成本,而非首个任务的费用。

如果失败循环干预后任务仍然受阻,插件不会直接终止任务,而是通知开发者。

TokenEconomizer将重复使用中积累的仓库经验转化为成本节省;度过初期学习阶段、积累经验后,收益会更大。