تبحث دراسة في كيفية تأثير تصميم دالة المكافأة على جودة نماذج عمليات الأعمال التي تولدها النماذج اللغوية الكبيرة باستخدام التعلم التعزيزي. قام الباحثون بتدريب نماذج Llama 3.1 8B و Qwen 2.5 14B تحت 48 تكوينًا لتحسين الجودة النحوية، والسياقية، والدلالية.
- يحسّن RL بشكل كبير الجودة السياقية والنحوية مع الحفاظ على الدقة الدلالية، مما يقلل من تباين المخرجات بأكثر من ستة أضعاف.
- تفوق الأوزان المتساوية للمكافآت باستمرار على الأوزان المستهدفة، لأن التركيز على بُعد معين قد يؤدي إلى انهيار النموذج في أوضاع منخفضة الجودة.
- تتفاعل خيارات التصميم بشكل غير بديهي مع بنية النموذج؛ على سبيل المثال، تختلف عقوبات عدم الصلاحية وتأثيرات التهيئة SFT بين Llama و Qwen.
تُظهر النتائج أن تركيب المكافأة هو محدد أساسي لنتائج التحسين، مع تأثيرات قابلة للمقارنة مع قرار تطبيق RL نفسه.