Agonフレームワークは、2つの競合するモデルがトレーニング中に互いの推論プロセスを採点することで、検証可能な報酬からの強化学習を可能にします。最終回答や外部の報酬モデルに依存するのではなく、システムは一方のモデルが解答を起草し、もう一方が交互の役割でそれを解くメカニズムを使用し、ライバルを上回ることでペアに報酬を与えます。

  • 両方のモデルが同時に最適化され、単一モデルの強化学習では提供できない、次第に強力になる対戦相手と向き合います。
  • このアプローチにはプロセスラベルが必要なく、別の報酬モデルなしで機能します。
  • 推論時、訓練されたペアは起草するモデルと、その草案を読んで回答するモデルからなる2段階のカスケードとしてデプロイされます。
  • Qwen3を用いたDeepMathのハードスプリットにおいて、AgonはGRPOのpass@1スコアを2倍にします。
  • この手法は、同じ基本モデルに対する訓練されていないMixture-of-Agentsのパスと比較して、約8倍の利益をもたらします。
  • パフォーマンスの向上は、競技プログラミングのコードやQwen3.5やGemma 4などの異なるモデルファミリー全体で再現されます。

この方法により、モデルは互いに競争することで推論能力を暗黙的に改善でき、今後の研究では潜在空間での相互作用の実現を目指します。