Agon memungkinkan RL lintas-model yang kompetitif dengan penilaian rival implisit dalam penalaran

Kerangka kerja Agon memperkenalkan metode pembelajaran penguatan di mana dua model yang bersaing bertindak sebagai penilai satu sama lain, mengatasi keterbatasan bahwa RL reward terverifikasi standar hanya menilai jawaban akhir. Dalam pengaturan ini, satu model menyusun solusi sementara yang lain membacanya dan menyelesaikan secara bersamaan, dengan hadiah diberikan untuk mengalahkan rival.

• Kedua model dioptimalkan untuk secara bertahap mengalahkan lawan yang semakin kuat tanpa memerlukan label proses atau model reward terpisah.
• Saat inferensi, pasangan ini di-deploy sebagai kaskade dua tahap di mana satu model menyusun draf dan yang lain menjawab setelah membaca draf tersebut.
• Pada split sulit DeepMath dengan Qwen3, Agon menggandakan pass@1 GRPO, mencapai sekitar delapan kali lipat gain dari pendekatan Mixture-of-Agents yang tidak terlatih.
• Efek urutan direplikasi pada kode pemrograman kompetitif dan di seluruh keluarga model termasuk Qwen3.5 dan Gemma 4.

Pendekatan ini memungkinkan penalaran dinilai secara implisit selama pelatihan, menyediakan rival yang semakin kuat yang tidak dapat ditawarkan oleh RL model tunggal.