TF-Engram introduce memoria sin entrenamiento respaldada por SSD para LLM

Los autores presentan TF-Engram, un sistema Engram sin entrenamiento que construye memoria semántica específica de frases fuera de línea a partir de corpus externos y almacena grandes tablas de memoria en una jerarquía GPU-DRAM-SSD. Utiliza Early-Exit Guided Predictive Prefetching para ocultar la latencia de la memoria externa durante la decodificación autoregresiva.

En Qwen3-0.6B, TF-Engram mejora la puntuación promedio downstream de 57.6 a 59.4, superando tanto al backbone congelado como a una línea base LoRA con parámetros equivalentes.

Estos resultados demuestran que la memoria estática de frases puede integrarse en la inferencia de LLM como un componente escalable, sin entrenamiento y de baja sobrecarga.