Para peneliti mengusulkan Transformator Memori Rekursif Asosiatif (ARMT) untuk memungkinkan pemrosesan konteks panjang dalam model bahasa besar sambil mencapai penskalaan memori konstan dan efisiensi yang lebih baik.
- Karya ini memperkenalkan dua dataset konteks panjang spesifik domain untuk mengevaluasi skenario penyetelan halus domain sempit yang realistis.
- Sebuah resep pelatihan komprehensif disediakan, menggabungkan pra-pelatihan berkelanjutan, generasi data sintetis, pembelajaran kurikulum, dan integrasi selektif memori asosiatif ke lapisan model tertentu.
- Model yang diperkaya ARMT memproses input jauh melampaui batas konteks asli tanpa menurunkan kinerja dibandingkan dengan baseline dalam batas.
- Pendekatan ini lebih efektif dalam menggeneralisasi ke panjang konteks di luar distribusi.
- Model memerlukan 30% FLOPs lebih sedikit sambil mempertahankan kinerja baseline dalam jendela konteks asli.
Metode ini memungkinkan LLM menangani input yang lebih panjang secara efisien, mengatasi kendala komputasi kuadratik dan penskalaan memori linear dari transformer standar.