शोधकर्ताओं ने Tail-Aware Credit calibratiOn (TACO) प्रस्तावित किया, एक विधि जो बड़े भाषा मॉडलों के लिए क्रिटिक-फ्री रिइन्फोर्समेंट लर्निंग में "Positive-Credit Contamination" फेल्योर मोड को संबोधित करती है। यह समस्या तब उत्पन्न होती है जब एकसमान क्रेडिट असाइनमेंट संभावित टोकन के साथ-साथ कम-संभावना वाले त्रुटिपूर्ण टोकन को भी निर्दिष्ट रूप से पुष्टि करता है।
- TACO स्थानीय जनरेशन संदर्भ पर आधारित एक टेल-रिस्क स्कोर की गणना करता है ताकि अप्रत्याशित दुर्लभता को अनिश्चितता-चालित अन्वेषण से अलग किया जा सके।
- विधि जोखिम वाले टोकन के लिए पॉजिटिव क्रेडिट को समायोजित करती है, आकस्मिक शोर को क्रमशः दबाते हुए और दोहराए जाने वाले उपयोगी दुर्लभ पैटर्न को रिइन्फोर्समेंट जमा करने की अनुमति देती है।
- तीन LLMs और आठ बेंचमार्क्स पर प्रयोग दिखाते हैं कि TACO GRPO-स्टाइल बेलाइन का निरंतर अग्रिम है।
- दृष्टिकोण प्रशिक्षण स्थिरता को सुधारता है, लंबे-हॉराइजन RL में स्थायी प्रदर्शन लाभ का समर्थन करता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह दोषपूर्ण तर्क व्यवहार के पुष्टिकरण को कम करता है, जटिल तर्क कार्यों के लिए अधिक स्थिर और प्रभावी लर्निंग सक्षम बनाता है।