Agonフレームワークは、2つの競合するモデルがお互いの採点者として機能する強化学習手法を導入し、標準的な検証可能な報酬RLが最終回答のみを採点するという制限に対処します。この構成では、1つのモデルが解答草案を作成し、もう1つがそれを読みながら同時に解決し、対戦相手を上回る解答に対して報酬が与えられます。

  • 両モデルは、プロセスラベルや個別の報酬モデルを必要とせずに、強化される対戦相手を段階的に上回るよう最適化されます。
  • 推論時、このペアは1つのモデルが草案を作成し、もう1つがそれを読み取った後に回答する二段階カスケードとしてデプロイされます。
  • Qwen3を用いたDeepMathのハード分割において、AgonはGRPOのpass@1を2倍にし、訓練されていないMixture-of-Agentsアプローチの約8倍の利点を実現します。
  • 順序効果は、競技プログラミングのコードやQwen3.5やGemma 4を含むモデルファミリー全体で再現されます。

この手法により、推論がトレーニング中に暗黙的に評価され、単一モデルRLでは提供できない段階的に強化される対戦相手が得られます。