Agon फ्रेमवर्क एक पुनर्बल सीखने विधि पेश करता है जहाँ दो प्रतिस्पर्धी मॉडल एक-दूसरे के ग्रेडर के रूप में कार्य करते हैं, इस सीमा को दूर करते हुए कि मानक सत्यापनीय पुरस्कार RL केवल अंतिम उत्तरों का मूल्यांकन करता है। इस सेटअप में, एक मॉडल समाधान तैयार करता है जबकि दूसरा इसे पढ़ते हुए और साथ ही हल करता है, प्रतिद्वंद्वी को पीछे छोड़ने के लिए पुरस्कार दिए जाते हैं।
- दोनों मॉडलों को प्रक्रिया लेबल या अलग से पुरस्कार मॉडल की आवश्यकता के बिना बढ़ते हुए प्रतिद्वंद्वी को क्रमिक रूप से पीछे छोड़ने के लिए अनुकूलित किया जाता है।
- निष्पादन पर, जोड़ी एक दो-चरण के कैस्केड के रूप में तैनात होती है जहाँ एक मॉडल तैयार करता है और दूसरा ड्राफ्ट पढ़ने के बाद उत्तर देता है।
- Qwen3 के साथ DeepMath के कठिन स्प्लिट पर, Agon GRPO के pass@1 को दोगुना कर देता है, एक अशिक्षित Mixture-of-Agents दृष्टिकोण की तुलना में लगभग आठ गुना लाभ प्राप्त करता है।
- क्रम प्रभाव प्रतिस्पर्धी प्रोग्रामिंग कोड और Qwen3.5 और Gemma 4 सहित मॉडल परिवारों के पार पुनरुत्पादित होता है।
यह दृष्टिकोण प्रशिक्षण के दौरान तर्क का अंतर्निहित रूप से मूल्यांकन करने की अनुमति देता है, एक क्रमिक रूप से मजबूत प्रतिद्वंद्वी प्रदान करता है जो सिंगल-मॉडल RL नहीं दे सकता।