تبحث دراسة في مشكلة قرار الميزانية الثابتة لتخصيص موارد ما بعد التدريب بالتعلم التعزيزي (RL)، وتحديداً فيما إذا كان يجب إعطاء الأولوية للسياسات الأكبر، أو التدريب الممتد، أو بحث التكرارات (rollouts) الأكثر، أو ملاحظات المكافأة الأقوى.
- يقدم المؤلفون إطاراً لمحاسبة العمليات الفلوبيّة (FLOP-accounting framework) لتدريب GRPO ما بعد التدريب يفصل الحوسبة إلى تكرار/بحث، تحديث السياسة/التعلم، وتقييم نموذج المكافأة.
- يكشف تحليل سياسات Qwen2.5 المعدّلة بـ LoA عن حدود توزيع مشروطة تعتمد فيها الاستراتيجية المثلى على حجم النموذج والميزانية وأنظمة المكافأة.
- تستهلك السياسات الأكبر حوسبة أكثر لكل توكن، مما يؤدي إلى تحديثات أو تكرارات أقل تحت نفس الميزانية الإجمالية مقارنة بالنماذج الأصغر.
- يؤثر بنية نظام المكافأة بشكل كبير في المحاسبة؛ حيث تنفق المكافآت القائمة على القواعد معظم الحوسبة غير المحدثة في التكرارات، بينما تخصص ملاحظات بأسلوب PRM ميزانية مرئية للاستدلال.
- تقترح الورقة RACE كبروتوكول شبكة تجريبية تشخيصية لتحديد أنظمة التوزيع قبل عمليات التحقق المكلفة.
يجادل المؤلفون بأن أوراق بحث ما بعد التدريب بالتعلم التعزيزي يجب أن تبلغ عن إجمالي العمليات الفلوبيّة (FLOPs) جنباً إلى جنب مع التقسيم المحدد للحوسبة بين حجم النموذج والبحث والتعلم والملاحظات.