تقدم إطار عمل Agon طريقة للتعلّم المعزّز حيث يعمل نموذجان متنافسان كمصحّحين لبعضهما البعض، مما يعالج القيود المفروضة على تعلّم التعزيز بالمكافآت القابل للتحقق قياسيًاً والذي يصحح الإجابات النهائية فقط. في هذا الإعداد، يقوم نموذج واحد بكتابة مسودة الحل بينما يقرأها النموذج الآخر ويحلّها في نفس الوقت، مع منح المكافآت للتفوق على المنافس.
- يتم تحسين كلا النموذجين للتفوق تدريجياً على منافس يتزايد قوته دون الحاجة إلى تسميات العملية أو نموذج مكافأة منفصل.
- أثناء الاستدلال، يتم نشر الزوج ككاسكاد من مرحلتين حيث يقوم نموذج واحد بكتابة المسودة والنموذج الآخر يجيب بعد قراءة المسودة.
- في الجزء الصعب من DeepMath مع Qwen3، تضاعف Agon معدل النجاح pass@1 لـ GRPO، محققةً حوالي ثماني مرات زيادة مقارنة بأسلوب Mixture-of-Agents غير المدرب.
- يتكرر تأثير الترتيب على كود البرمجة التنافسية وعبر عائلات النماذج بما في ذلك Qwen3.5 وGemma 4.
يتيح هذا النهج تقييم الاستدلال بشكل ضمني أثناء التدريب، مما يوفر منافساً يتزايد قوته تدريجياً وهو ما لا يمكن لتعلّم التعزيز بنموذج واحد تقديمه.