Better Harness：任务证据评估，改进路径

1. 一并公开指南、评估模型和运行工具

Better Harness 是分析并改进编程智能体工作方式的工具。据 Qoder 公告，可收集的工作记录和报告形式因智能体所在的运行程序而异。公开时，Qoder 集成是完成度最高的参考实现，即用于展示功能的示例代码。

此次公开内容分为三层：针对各类问题的工程指南、定义评估标准的 Agent Work Loop 模型，以及分析实际项目的执行代码。仓库不仅公开指南，还包含收集证据并反复作出判断的实现。仓库采用 MIT 许可证发布，允许修改和再分发。

据公司公告，将功能加入 Qoder Desktop 后，在公开前的前三天已有 10万 人试用。此次开源将先在桌面产品中使用的评估体系提供给其他编程智能体。

2. 关注配置是否用于任务，而非仅仅存在

评估单位是具有一个目标和完成标准的任务；会话是工作记录连续延伸的运行单位，也是承载过程证据的资料。例如，与检查是否存在测试的清单不同，工具会查看智能体执行的测试是否实际验证了改动部分和主要风险。

模型设有任务理解、执行控制、变更验证、可靠交付和学习积累五个维度，以及十五个检查项。证据也按组件存在、关联任务路径、留有实际执行结果、得到后续比较结果支持的状态分别记录。无法确认的情况与确实不存在的情况也会区分。

模型文档为当前任务的前四个维度设置了证据等级，以及按评估证据充分程度划分的分数上限，即可获得的最高分。证据越强，允许的分数范围越大，但若必要检查尚未解决或受阻，该维度不得超过 59 分。学习积累维度则由智能体另行判断，给出 35~100 之间的整数。

表：各证据等级对应的前四个维度分数上限

条件：依据仓库的 Agent Work Loop 模型。适用于前四个维度，学习积累遵循单独规则。

单位：分

3. 报告提出待修正问题和确认方法

分析分别检查智能体在会话中做了什么、项目如何支持运行、诊断和验证，以及智能体所用配置与工具等智能体资产的配置和使用证据。最后将这些证据与评估模型对照并汇总。除分数外，报告还给出按优先级排列的改进项，每项包含影响、证据、修改范围和确认方法。

仓库中保存了一份用 Codex 分析 Better Harness 项目本身的示例报告。这是基于一个观测会话、未进行编辑或交付的分析，五个维度的分数如下。

表：仓库示例报告的各维度分数

条件：仓库中固定收录的一份 Codex 自我分析示例。基于一个观测会话，未进行编辑或交付。

单位：分

示例的整体任务有效性得分为 58 分，资产状态·修改进展得分为 0 分。报告指出，虽有交付流程说明，但缺少当前结果的验收证据，即判断结果可被接受的依据，也缺少恢复安装状态的路径。这种结构让读者在查看分数时，也能知道应补足哪些流程。

4. 按所用宿主程序，即工具运行环境安装和执行

公开时已支持 Claude Code 和 Codex，安装方式因程序而异。以下是公开文档中的示例，用于在 Claude Code 中注册仓库并安装插件，即扩展功能的安装项。

/plugin marketplace add QoderAI/better-harness
/plugin install better-harness@better-harness

Claude Code 安装后，在待分析项目中打开新会话并运行 /better-harness 即可。

Qoder Desktop 已内置该功能，无须单独安装，也可在 Quest 界面选择 Beta，即正式发布前的试验功能项。

公开时，Cursor 通过加载源码的方式获得支持。

公告还说明，在已安装桌面应用的环境中，也可使用 Qoder CLI 和 JetBrains 插件。

5. 获得证据的同时，也需要审查和校正

这款工具的实际价值不在于分数，而在于能够重新审视判断。它将每项改进的观测证据、最小修改范围和确认流程关联起来，帮助团队逐一修正问题，并在后续同类任务中检查是否发生变化。不过，用户仍需熟悉各宿主程序的安装和输出方式，也要阅读证据并验证建议的修改。

不过，示例报告只是仓库收录的一个案例，并不能证明长期改进效果。Qoder 也表示，模型围绕熟悉的项目和任务类型构建，在其他技术环境或团队条件下可能有所遗漏。

公开文档建议从一个证据和影响都明确的问题入手。修正并验证后，再次观察类似任务，确认本次修改是否也对下一次任务有所帮助。

Better Harness 的核心不止于为智能体打分，而是将任务中确认的证据与下一步改进联系起来。