El framework Agon permite el aprendizaje por refuerzo a partir de recompensas verificables al hacer que dos modelos competidores califiquen los rastros de razonamiento del otro, en lugar de calificar solo las respuestas finales. En esta configuración, un modelo redacta una solución mientras el otro la resuelve en roles alternos, premiando al agente que supera a su rival en razonamiento sin requerir etiquetas de proceso ni un modelo de recompensa separado.

  • Ambos modelos se optimizan simultáneamente, enfrentándose a un rival progresivamente más fuerte que el RL de un solo modelo no puede proporcionar.
  • En la inferencia, el par se despliega como una cascada de dos etapas donde un modelo redacta y el otro responde tras leer el borrador.
  • En la división difícil de DeepMath con Qwen3, este enfoque duplica el rendimiento pass@1 de GRPO.
  • El orden se replica en programación competitiva de código y a través de familias de modelos que incluyen Qwen3.5 y Gemma 4.

Este método permite que el razonamiento sea juzgado implícitamente durante el entrenamiento, abordando el problema donde los problemas difíciles actualmente entrenan a los modelos para escribir más en lugar de pensar mejor.