O framework Agon introduz um método de aprendizado por reforço onde dois modelos competidores atuam como avaliadores mútuos, abordando a limitação de que o RL com recompensa verificável padrão apenas avalia as respostas finais. Nesta configuração, um modelo redige uma solução enquanto o outro lê e resolve simultaneamente, recebendo recompensas por superar o rival.
- Ambos os modelos são otimizados para superar progressivamente um oponente fortalecido sem exigir rótulos de processo ou um modelo de recompensa separado.
- Na inferência, o par é implantado como uma cascata de duas etapas onde um modelo redige e o outro responde após ler o rascunho.
- Na divisão difícil do DeepMath com Qwen3, o Agon dobra o pass@1 do GRPO, alcançando aproximadamente oito vezes o ganho de uma abordagem Mixture-of-Agents não treinada.
- O efeito da ordem se replica em programação competitiva e através de famílias de modelos incluindo Qwen3.5 e Gemma 4.
Esta abordagem permite que o raciocínio seja julgado implicitamente durante o treinamento, fornecendo um rival progressivamente mais forte que o RL de modelo único não pode oferecer.