Le framework Agon permet l'apprentissage par renforcement à partir de récompenses vérifiables en faisant évaluer mutuellement les processus de raisonnement de deux modèles concurrents pendant l'entraînement. Au lieu de s'appuyer sur les réponses finales ou des modèles de récompense externes, le système utilise un mécanisme où un modèle rédige une solution tandis que l'autre la résout dans des rôles alternés, récompensant le couple pour avoir surpassé son rival.
- Les deux modèles sont optimisés simultanément, face à un adversaire progressivement plus fort qu'aucun RL mono-modèle ne peut offrir.
- L'approche ne nécessite pas d'étiquettes de processus et fonctionne sans modèle de récompense séparé.
- Lors de l'inférence, la paire entraînée est déployée en cascade à deux étapes où l'un rédige et l'autre répond après avoir lu le brouillon.
- Sur la division difficile de DeepMath avec Qwen3, Agon double le score pass@1 de GRPO.
- La méthode produit environ huit fois le gain d'un passage Mixture-of-Agents non entraîné sur le même modèle de base.
- Les améliorations de performance se répliquent à travers le code de programmation compétitive et différentes familles de modèles incluant Qwen3.5 et Gemma 4.
Cette méthode permet aux modèles d'améliorer implicitement leur raisonnement en rivalisant les uns contre les autres, les travaux futurs visant à permettre l'interaction dans l'espace latent.