Agon permet un RL inter-modèles compétitif avec évaluation implicite des rivaux en raisonnement

Le framework Agon introduit une méthode d'apprentissage par renforcement où deux modèles concurrents agissent comme correcteurs l'un pour l'autre, palliant la limitation du RL à récompense vérifiable standard qui ne note que les réponses finales. Dans cette configuration, un modèle rédige une solution pendant que l'autre la lit et résout simultanément, avec des récompenses accordées pour avoir surpassé le rival.

• Les deux modèles sont optimisés pour surpasser progressivement un adversaire renforçant sans nécessiter d'étiquettes de processus ou de modèle de récompense séparé.
• Lors de l'inférence, la paire est déployée en cascade à deux étapes où un modèle rédige et l'autre répond après avoir lu le brouillon.
• Sur la division difficile de DeepMath avec Qwen3, Agon double le pass@1 de GRPO, atteignant environ huit fois le gain d'une approche Mixture-of-Agents non entraînée.
• L'effet d'ordre se réplique sur le code de programmation compétitive et à travers des familles de modèles incluant Qwen3.5 et Gemma 4.

Cette approche permet au raisonnement d'être jugé implicitement pendant l'entraînement, fournissant un rival progressivement plus fort qu'un RL mono-modèle ne peut offrir.