一项研究调查了评估判断的概率校准是否可以缓解“评估者偏好耦合”，即系统性偏差传播到LLM智能体的策略中。作者提出了对该缓解方法的初步分析，通过对成对判断应用校准来减少虚假的偏好传播。

  • 在使用 DeepSeek-V4-Pro 作为执行器、GLM5.2 作为评估器的受控实验中，置信度校准的 TTRL 将耦合系数 gamma 降低了 20-49%，而标准二元更新则没有这种效果。
  • 使用校准方法后，Jensen-Shannon 散度降低了 45-67%。

对称学习率控制证实，这些改进并非由于更新不对称性的减少所致。

作者发布了校准后的 TTRL 协议，并推荐其作为 LLM-as-judge 部署流水线中的轻量级缓解方案。