O framework Agon permite o aprendizado por reforço a partir de recompensas verificáveis ao fazer dois modelos competidores avaliarem os rastros de raciocínio um do outro, em vez de avaliar apenas as respostas finais. Nesta configuração, um modelo redige uma solução enquanto o outro a resolve em papéis alternados, premiando o agente que supera seu rival no raciocínio sem exigir rótulos de processo ou um modelo de recompensa separado.

  • Ambos os modelos são otimizados simultaneamente, enfrentando um rival progressivamente mais forte que o RL de um único modelo não pode fornecer.
  • Na inferência, o par é implantado como uma cascata de duas etapas onde um modelo redige e o outro responde após ler o rascunho.
  • Na divisão difícil do DeepMath com Qwen3, esta abordagem dobra o desempenho pass@1 do GRPO.
  • A ordem se replica na programação competitiva de código e em famílias de modelos incluindo Qwen3.5 e Gemma 4.

Este método permite que o raciocínio seja julgado implicitamente durante o treinamento, abordando o problema onde problemas difíceis atualmente treinam os modelos para escrever mais em vez de pensar melhor.