शोधकर्ताओं ने TR-RAG प्रस्तावित किया, जो एक टीचर-रेगुलराइज्ड रीइन्फोर्समेंट लर्निंग विधि है जो अंग्रेजी-सबूत क्रॉस-लिंगुअल रिट्रीवल-एग्मेंटेड जनरेशन में भाषा ड्रिफ्ट और अविश्वसनीय सबूत उपयोग को संबोधित करती है। दृष्टिकोण रिवार्ड ऑप्टिमाइज़ेशन को on-policy डिस्टिलेशन के साथ जोड़ता है, एक फ्रोजन टीचर का उपयोग करके कॉम्पैक्ट स्टूडेंट द्वारा सैंपल किए गए उत्तरों के लिए प्रीफ़िक्स-वाइज रिवर्स-KL एंकर प्रदान करने के लिए।
- TR-RAG बहुभाषी जनरेशन के लिए रिवार्ड डिकंपोजिशन में भाषा संगतता, कैरेक्टर 3-ग्राम रिक्वाल और LLM-जज स्कोर को जोड़ता है।
- टीचर एंकर ~27 प्रतिशत बिंदुओं तक के बड़े भाषा-संगतता पतन को रोकता है, जो डोमेन-इन भाषाओं पर केवल रिवार्ड वाले RL में देखा गया था।
- दूरस्थ आउट-ऑफ-डिस्ट्रीब्यूशन भाषाओं पर, विधि सबूत ग्रौंडिंग को बेहतर बनाती है जहां केवल रिवार्ड वाला RL बेस मॉडल की छत पर अटक जाता है।
- कॉम्पैक्ट स्टूडेंट कभी-कभी BioASQ-ENKB5, Hotpot-ENKB5 और MKQA बेंचमार्क्स पर कैरेक्टर 3-ग्राम रिक्वाल में अपने 70B टीचर को पार कर जाता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह प्रशिक्षण को स्थिर करता है और महंगे फुल-मॉडल फाइन-ट्यूनिंग की आवश्यकता के बिना भाषा अनुपालन और सबूत-ग्रौंडेड सटीकता दोनों को सुधारता है।