Para peneliti menyajikan Memory Decoder at Scale, sebuah sistem yang menskalakan model memori jangka panjang parametrik hingga 6.9B parameter dan melatihnya terlebih dahulu pada 300B token. Untuk mengatasi ketidakmungkinan pipeline Faiss standar pada skala data ini, para penulis mengimplementasikan pipeline pengindeksan terdistribusi dengan pemuatan kNN yang jarang dan berbasis batch.
- Sistem menskalakan model memori hingga 6.9B parameter dan menggunakan 300B token untuk pelatihan awal.
- Pipeline terdistribusi menangani pengindeksan dan pengambilan Faiss, memanfaatkan pemuatan kNN yang jarang dan berbasis batch.
- Menggabungkan memori umum 6.9B dengan Pythia-410M meningkatkan skor rata-ratanya dari 29.86 menjadi 37.34, melampaui Pythia-12B (37.24) dengan 39% lebih sedikit parameter total.
- Untuk model Qwen3 Base berkisar dari 0.6B hingga 14B, memori domain 1.7B meningkatkan skor rata-rata di tiga domain sebesar lebih dari 9 poin pada setiap skala.
Hasilnya menunjukkan bahwa penskalaan independen memori yang telah dilatih sebelumnya menawarkan jalur yang lebih efisien dalam penggunaan parameter untuk meningkatkan kinerja model bahasa dibandingkan hanya menskalakan model dasar.