शोधकर्ताओं ने Memorization-guided Data Reuse का प्रस्ताव किया है, जो एक प्रशिक्षण पैराडाइम है जो बड़े भाषा मॉडल के प्रशिक्षण के दौरान उच्च-गुणवत्ता वाले डेटा को पुनः उपयोग करने के समय और तरीके को अनुकूलित रूप से निर्धारित करने के लिए मॉडल मेमोराइजेशन संकेतों का उपयोग करता है। यह दृष्टिकोण पारंपरिक एक-पास या स्थिर-एपॉक प्रतिबंधों से परे जाकर नमूना दक्षता और प्रदर्शन में सुधार करने का लक्ष्य रखता है।
विधि "मेमोराइजेशन विंडो" संकेतों को हानि धारण गतिशीलता और डाउनस्ट्रीम मूल्यांकन स्कोर से व्युत्पन्न करती है ताकि प्रशिक्षण एपॉक्स और डेटा रीप्ले शेड्यूलिंग पर सिद्धांत-आधारित निर्णय लिए जा सकें। प्राथमिक प्रयोग संकेत देते हैं कि एक मेमोराइजेशन-संचालित शासन है जहाँ मॉडल का प्रदर्शन सामान्यतः उद्धृत चार-एपॉक सीमा से काफी परे दोहराव के साथ महत्वपूर्ण रूप से सुधारता रहता है।
ये अंतर्दृष्टि मेमोराइजेशन-जागरूक प्रशिक्षण शेड्यूल के लिए आधार प्रदान करती हैं, उचित पुनः उपयोग बजट निर्धारित करने में सहायता करती हैं और सीमित उच्च-गुणवत्ता वाले डेटा के साथ अधिक कुशल LLM प्रशिक्षण को सक्षम बनाती हैं।