TF-Engram memperkenalkan memori bebas pelatihan berbasis SSD untuk LLM

Para penulis menyajikan TF-Engram, sebuah sistem Engram bebas pelatihan yang membangun memori semantik spesifik frasa secara offline dari korpus eksternal dan menyimpan tabel memori besar di atas hierarki GPU-DRAM-SSD. Sistem ini memanfaatkan Early-Exit Guided Predictive Prefetching untuk menyembunyikan latensi memori eksternal selama dekoding autoregresif.

Pada Qwen3-0.6B, TF-Engram meningkatkan skor downstream rata-rata dari 57,6 menjadi 59,4, mengungguli baik backbone beku maupun baseline LoRA yang cocok parameternya.

Hasil-hasil ini menunjukkan bahwa memori frasa statis dapat diintegrasikan ke dalam inferensi LLM sebagai komponen sistem yang skalabel, bebas pelatihan, dan ber-overhead rendah.