Kerangka kerja Agon memungkinkan pembelajaran penguatan dari hadiah yang dapat diverifikasi dengan membuat dua model yang bersaing menilai jejak penalaran masing-masing, alih-alih hanya menilai jawaban akhir. Dalam pengaturan ini, satu model menyusun solusi sementara yang lain menyelesaikannya dalam peran bergantian, memberi hadiah pada agen yang mengalahkan lawannya dalam penalaran tanpa memerlukan label proses atau model hadiah terpisah.

  • Kedua model dioptimalkan secara bersamaan, menghadapi rival yang semakin kuat yang tidak dapat disediakan oleh RL model tunggal.
  • Saat inferensi, pasangan ini di-deploy sebagai kaskade dua tahap di mana satu model menyusun dan yang lain menjawab setelah membaca draf.
  • Pada split sulit DeepMath dengan Qwen3, pendekatan ini menggandakan kinerja pass@1 GRPO.
  • Urutan ini direplikasi pada kode pemrograman kompetitif dan melintasi keluarga model termasuk Qwen3.5 dan Gemma 4.

Metode ini memungkinkan penalaran dinilai secara implisit selama pelatihan, mengatasi masalah di mana masalah sulit saat ini melatih model untuk menulis lebih banyak daripada berpikir lebih baik.