Agon 框架通过让两个竞争模型互相评估对方的推理轨迹，而不仅仅是最终答案，从而实现了基于可验证奖励的强化学习。在这种设置下，一个模型起草解决方案，另一个模型以交替角色进行解答，奖励在推理能力上胜过对手的代理，无需过程标签或单独的奖励模型。

  • 两个模型同时优化，面对单一模型 RL 无法提供的逐渐增强的对手。
  • 在推理阶段，这对模型部署为两阶段级联结构，一个模型起草，另一个模型在阅读草稿后作答。
  • 在 Qwen3 的 DeepMath 困难划分上，这种方法使 GRPO 的 pass@1 性能翻倍。
  • 该顺序在编程竞赛代码以及包括 Qwen3.5 和 Gemma 4 在内的多个模型家族中得以复现。

该方法允许在训练期间隐式地评判推理能力，解决了当前难题训练模型写得更多而非思考得更好的问题。