一项研究表明,有偏见的 LLM 裁判可以静默禁用自进化智能体中的“技能退休”机制,阻止其丢弃劣质技能。这是由于假阳性偏见导致失败被误判为成功,从而有效地关闭了维护技能库质量的策展人。

  • 对称噪声不影响退休机制,但假阳性偏见会在超过临界阈值后禁用基于贡献的退休。
  • 该机制故障在所有领域和故障率中普遍存在,仅豁免于假阳性率接近零的验证器型评分者。
  • 下游评估质量仅在腐败同时扼杀技能合成的地方下降;否则,性能保持稳定。
  • 在部署前,可以通过缺陷注入审计来确定裁判是否处于阈值的安全一侧。

研究强调,被禁用的策展人在聚合指标中保持沉默,对智能体的可靠性构成隐藏风险。