Agon introduit le RL inter-modèles compétitif avec notation implicite par rival

Le framework Agon permet l'apprentissage par renforcement à partir de récompenses vérifiables en faisant noter mutuellement leurs traces de raisonnement par deux modèles concurrents, plutôt que de ne noter que les réponses finales. Dans cette configuration, un modèle rédige une solution tandis que l'autre la résout dans des rôles alternés, récompensant l'agent qui surpasse son rival en termes de raisonnement sans nécessiter d'étiquettes de processus ou de modèle de récompense séparé.

• Les deux modèles sont optimisés simultanément, face à un rival progressivement plus fort que le RL mono-modèle ne peut pas fournir.
• Lors de l'inférence, la paire est déployée en cascade à deux étapes où un modèle rédige et l'autre répond après avoir lu la rédaction.
• Sur la division difficile de DeepMath avec Qwen3, cette approche double la performance pass@1 de GRPO.
• L'ordre se réplique sur le code de programmation compétitive et à travers des familles de modèles incluant Qwen3.5 et Gemma 4.

Cette méthode permet au raisonnement d'être jugé implicitement pendant l'entraînement, adressant le problème où les problèmes difficiles entraînent actuellement les modèles à écrire davantage plutôt qu'à mieux réfléchir.