Kerangka kerja Agon memungkinkan pembelajaran penguatan dari hadiah yang dapat diverifikasi dengan membuat dua model yang bersaing menilai proses penalaran satu sama lain selama pelatihan. Alih-alih mengandalkan jawaban akhir atau model hadiah eksternal, sistem menggunakan mekanisme di mana satu model menyusun solusi sementara model lainnya menyelesaikannya dalam peran bergantian, memberi hadiah pada pasangan tersebut karena berhasil mengalahkan lawan mereka.

  • Kedua model dioptimalkan secara bersamaan, menghadapi lawan yang semakin kuat yang tidak dapat disediakan oleh RL model tunggal.
  • Pendekatan ini tidak memerlukan label proses dan berfungsi tanpa model hadiah terpisah.
  • Saat inferensi, pasangan yang dilatih dikerahkan sebagai kaskade dua tahap di mana satu menyusun draf dan lainnya menjawab setelah membaca draf tersebut.
  • Pada split sulit DeepMath dengan Qwen3, Agon menggandakan skor pass@1 GRPO.
  • Metode ini menghasilkan keuntungan sekitar delapan kali lipat dibandingkan lintasan Mixture-of-Agents yang tidak terlatih pada model dasar yang sama.
  • Peningkatan kinerja direplikasi di seluruh kode pemrograman kompetitif dan berbagai keluarga model termasuk Qwen3.5 dan Gemma 4.

Metode ini memungkinkan model meningkatkan penalaran secara implisit dengan bersaing satu sama lain, dengan pekerjaan masa depan bertujuan untuk memungkinkan interaksi ruang laten.