O framework Agon permite o aprendizado por reforço a partir de recompensas verificáveis, fazendo com que dois modelos concorrentes avaliem os processos de raciocínio um do outro durante o treinamento. Em vez de depender de respostas finais ou modelos de recompensa externos, o sistema usa um mecanismo onde um modelo rascunha uma solução enquanto o outro a resolve em papéis alternados, premiando o par por superar seu rival.
- Ambos os modelos são otimizados simultaneamente, enfrentando um oponente progressivamente mais forte que o RL de um único modelo não pode fornecer.
- A abordagem não requer rótulos de processo e funciona sem um modelo de recompensa separado.
- Na inferência, o par treinado é implantado como uma cascata de duas etapas onde um rascunha e o outro responde após ler o rascunho.
- Na divisão difícil do DeepMath com Qwen3, o Agon dobra a pontuação pass@1 do GRPO.
- O método produz aproximadamente oito vezes o ganho de um Mixture-of-Agents não treinado sobre o mesmo modelo base.
- As melhorias de desempenho se replicam em código de programação competitiva e diferentes famílias de modelos, incluindo Qwen3.5 e Gemma 4.
Este método permite que os modelos melhorem o raciocínio implicitamente competindo uns contra os outros, com trabalhos futuros visando habilitar a interação no espaço latente.