El framework Agon permite el aprendizaje por refuerzo a partir de recompensas verificables al hacer que dos modelos competidores se evalúen mutuamente los procesos de razonamiento durante el entrenamiento. En lugar de depender de respuestas finales o modelos de recompensa externos, el sistema utiliza un mecanismo donde un modelo redacta una solución mientras el otro la resuelve cambiando roles alternos, premiando al par por superar a su rival.
- Ambos modelos se optimizan simultáneamente, enfrentándose a un oponente progresivamente más fuerte que el RL de un solo modelo no puede proporcionar.
- El enfoque no requiere etiquetas de proceso y funciona sin un modelo de recompensa separado.
- En la inferencia, el par entrenado se despliega como una cascada de dos etapas donde uno redacta y el otro responde tras leer el borrador.
- En la división difícil de DeepMath con Qwen3, Agon duplica la puntuación pass@1 de GRPO.
- El método produce aproximadamente ocho veces la ganancia de un Mixture-of-Agents sin entrenar sobre el mismo modelo base.
- Las mejoras de rendimiento se replican en código de programación competitiva y diferentes familias de modelos, incluyendo Qwen3.5 y Gemma 4.
Este método permite que los modelos mejoren el razonamiento implícamente compitiendo entre sí, con trabajos futuros orientados a habilitar la interacción en el espacio latente.