يقترح الباحثون Tail-Aware Credit calibratiOn (TACO)، وهي طريقة تعالج وضع الفشل "تلوث الائتمان الإيجابي" في التعلم المعزز الخالي من الناقد للنماذج اللغوية الكبيرة. ينشأ هذا المشكلة عندما يعزز تعيين الائتمان الموحد بشكل غير تمييزي الرموز منخفضة الاحتمال الخطأ إلى جانب الرموز المعقولة.
- تحسب TACO درجة خطر الذيل بناءً على سياق التوليد المحلي للتمييز بين الندرة غير المتوقعة والاستكشاف المدفوع بعدم اليقين.
- تضبط الطريقة الائتمان الإيجابي للرموز المحفوفة بالمخاطر، مما يخفف تدريجياً من الضوضاء العرضية مع السماح للأنماط النادرة المفيدة والمتكررة بتراكم التعزيز.
- أظهرت التجارب عبر ثلاثة نماذج LLM وثمانية معايير تقييم أن TACO يتفوق باستمرار على الأسس المرجعية بأسلوب GRPO.
- تحسن النهج استقرار التدريب، مما يدعم مكاسب الأداء المستدامة في التعلم المعزز طويل المدى.
يعتقد المؤلفون أن هذا مهم لأنه يخفف من تعزيز سلوك الاستدلال المعيب، مما يتيح تعلمًا أكثر استقرارًا وفعالية لمهام الاستدلال المعقدة.