作者提出了一种框架,其中评估指标和代理技能协同进化,以在缺乏可靠现有指标的情况下实现自我改进。该方法利用进化生命周期搜索小型缺陷检测器的组合,创建透明且可检查的指标,并与锚定参考集保持一致。

  • 指标循环经过训练以与十项锚定参考集一致,并通过未标记输出的共识进行正则化。
  • Double Ratchet 在代码生成(MBPP+)、企业文本到SQL(Spider~2.0-Snow)和报告生成方面,通过生命周期管理的技能循环协同进化指标。
  • 系统保留了由ground truth或最佳可用评分标准驱动的技能循环所实现的88--110%的保留集提升幅度。
  • 安全性通过锚定纪律和外部审计来维持,独立的裁判在报告生成任务中捕获被操纵的评分标准。

作者认为,这种预期失败的架构是那些不存在可靠自动验证器的应用程序的正确默认选择。