Para peneliti mengusulkan Penggunaan Ulang Data yang Dipandu Memorisasi, sebuah paradigma pelatihan yang menggunakan sinyal memorisasi model untuk menentukan secara adaptif kapan dan bagaimana data berkualitas tinggi harus digunakan kembali selama pelatihan model bahasa besar. Pendekatan ini bertujuan meningkatkan efisiensi sampel dan kinerja dengan melampaui batasan tradisional satu lewati atau epoch tetap.
Metode ini menurunkan sinyal "Jendela Memorisasi" dari dinamika retensi loss dan skor evaluasi downstream untuk membuat keputusan prinsipil mengenai epoch pelatihan dan penjadwalan replay data. Eksperimen awal menunjukkan rezim yang didorong oleh memorisasi di mana kinerja model terus meningkat dengan pengulangan, jauh melampaui batas empat epoch yang umum dikutip.
Wawasan ini memberikan dasar untuk jadwal pelatihan yang sadar memorisasi, membantu menentukan anggaran penggunaan ulang yang tepat dan memungkinkan pelatihan LLM yang lebih efisien dengan data berkualitas tinggi yang terbatas.