研究人员在 ALTK-Evolve 系统中引入了“一致性准则”，这是一种旨在解决 LLM 代理性能可变性的新机制，而标准平均准确率指标往往掩盖了这种可变性。通过识别并稳定容易翻转的决策点，该方法在不牺牲整体能力的情况下显著提高了任务成功的一致性。

  • 一致性分析器通过对单个记录轨迹进行重采样（k=5 次完成）来检测“易翻转”步骤，无需真实标签或端到端重新运行。
  • 在 AppWorld test_normal 上使用使用 GPT-4.1 的 ReAct 代理时，一致性准则将一致性差距（Mean@5 减去 Pass^5）从 24.4 个百分点降低至 12.0 个百分点。
  • 聚合 Pass^5 从 53.0% 提升至 69.0%，而 Mean@5 从 77.4% 略微上升至 81.0%，保留了平均准确率。
  • 该方法可推广至类似任务，使 Pass^5 提升 13.0 个百分点，并在 gpt-oss-120b 等较弱模型上显示出可迁移的收益。

这项工作强调一致性是与能力正交的维度，敦促开发者在报告 Mean@k 的同时报告 Pass^k，以便更好地评估生产环境中的代理可靠性。