Agon 框架引入了一种强化学习方法，其中两个竞争模型互为评分者，解决了标准可验证奖励 RL 仅对最终答案进行评分的局限性。在此设置中，一个模型起草解决方案，另一个模型阅读并同时求解，通过超越对手获得奖励。

  • 两个模型都被优化为逐步超越不断增强的对手，无需过程标签或单独的奖励模型。
  • 在推理时，该对模型部署为两阶段级联结构，一个模型起草，另一个模型在阅读草稿后作答。
  • 在 DeepMath 的困难划分上使用 Qwen3，Agon 将 GRPO 的 pass@1 翻倍，实现了比未训练的 Mixture-of-Agents 方法高出约八倍的增益。
  • 顺序效应在编程竞赛代码以及包括 Qwen3.5 和 Gemma 4 在内的多个模型家族中均得到复现。

这种方法允许在训练过程中隐式地评判推理能力，提供一个单模型 RL 无法提供的逐渐增强的对手。