Agon 框架通过让两个竞争模型在训练期间相互评估对方的推理过程，实现了基于可验证奖励的强化学习。该系统不依赖最终答案或外部奖励模型，而是使用一种机制：一个模型起草解决方案，另一个模型解决它，双方交替角色，并因超越对手而对这对模型进行奖励。

  • 两个模型同时优化，面对单模型 RL 无法提供的逐渐变强的对手。
  • 该方法不需要过程标签，且无需单独的奖励模型即可运行。
  • 在推理阶段，训练好的模型对部署为两阶段级联结构，一个负责起草，另一个在阅读草稿后作答。
  • 在 DeepMath 的难题分割上，配合 Qwen3，Agon 将 GRPO 的 pass@1 分数翻倍。
  • 该方法带来的增益约为同一基础模型上未经训练的 Mixture-of-Agents 的八倍。
  • 性能提升在竞赛编程代码和不同的模型家族（包括 Qwen3.5 和 Gemma 4）中均得到复现。

此方法允许模型通过相互竞争来隐式地改进推理能力，未来的工作旨在实现潜在空间交互。