El framework Agon introduce un método de aprendizaje por refuerzo donde dos modelos competidores actúan como evaluadores mutuamente, abordando la limitación de que el RL con recompensa verificable estándar solo califica las respuestas finales. En esta configuración, un modelo redacta una solución mientras el otro la lee y resuelve simultáneamente, otorgando recompensas por superar al rival.
- Ambos modelos se optimizan para superar progresivamente a un oponente fortalecido sin requerir etiquetas de proceso ni un modelo de recompensa separado.
- En la inferencia, el par se despliega como un cascada de dos etapas donde un modelo redacta y el otro responde tras leer el borrador.
- En la división difícil de DeepMath con Qwen3, Agon duplica el pass@1 de GRPO, logrando aproximadamente ocho veces la ganancia de un enfoque Mixture-of-Agents sin entrenar.
- El efecto del orden se replica en programación competitiva y a través de familias de modelos incluyendo Qwen3.5 y Gemma 4.
Este enfoque permite que el razonamiento sea juzgado implícitamente durante el entrenamiento, proporcionando un rival progresivamente más fuerte que el RL de un solo modelo no puede ofrecer.