Agonフレームワークは、2つの競合するモデルがお互いの推論トレースを採点することで、検証可能な報酬からの強化学習を実現します。これは最終回答のみを採点する従来の手法とは異なります。この構成では、一方のモデルが解答を起草し、もう一方が交互にそれを解く役割を果たし、プロセスラベルや独立した報酬モデルを必要とせずに、競合相手よりも優れた推論を行ったエージェントに報酬を与えます。

  • 両方のモデルが同時に最適化され、単一モデルの強化学習では提供できない、次第に強力になる競合相手と対峙します。
  • 推論時、このペアは2段階のカスケードとしてデプロイされ、一方のモデルが起草し、もう一方がその草案を読んで回答します。
  • Qwen3を用いたDeepMathのハード分割では、この手法はGRPOのpass@1性能を2倍に向上させます。
  • この順序性は、競技プログラミングのコードや、Qwen3.5やGemma 4を含むモデルファミリー全体でも再現されます。

この手法により、推論がトレーニング中に暗黙的に評価され、現在困難な問題がモデルにより多くの記述を促すのではなく、より良い思考を訓練するという課題に対処します。