研究人员提出了一种由失败驱动的计算机使用代理自我改进循环，利用失败的轨迹来提升模型性能。该方法使用 LLM 诊断故障模式并生成代码补丁，这些补丁经过人工轻度验证后用于升级代理。

  • 该方法针对在可验证环境中运行的多模态大语言模型 (MLLM)。
  • 它通过从被丢弃的失败轨迹中提取信息，补充了基于成功的标准流水线。
  • 在 OSWorld 基准测试中使用 OpenCUA-72B 模型进行验证，该方法将成功率从 42.3% 提高到了 48.9%。
  • 这一改进带来了 6.6 个百分点的提升，且没有额外的训练成本，仅带来适度的推理开销。

这项工作表明，由失败驱动的自我改进是现有流水线的可行补充，能够实现更高效的代理改进。