一项大规模实证研究引入了一种面向过程的框架，用于分析CLI编码代理中失败的 onset、演变和恢复，将其视为时间过程而非最终结果。

  • 研究人员在Terminal-Bench上从三个脚手架（OpenHands、MiniSWE、Terminus2）中的七种前沿模型收集了3,843条执行轨迹。
  • 过滤后，1,794条完整且有效的轨迹被手动标注，覆盖了超过63,000个执行步骤。
  • 分析得出了关于失败发生、根本原因、恢复和跨系统一致性的14项发现。
  • 失败主要由认知错误驱动，通常在前几个执行步骤内开始，并且经常隐藏直到无法恢复。

作者认为，提高编码代理的可靠性需要更早的验证和干预，而不是仅依赖最终结果评估。