TF-Engram introduz memória sem treinamento baseada em SSD para LLMs

Os autores apresentam o TF-Engram, um sistema Engram sem treinamento que constrói memória semântica específica de frases offline a partir de corpora externos e armazena grandes tabelas de memória em uma hierarquia GPU-DRAM-SSD. Ele utiliza Early-Exit Guided Predictive Prefetching para ocultar a latência da memória externa durante a decodificação autoregressiva.

No Qwen3-0.6B, o TF-Engram melhora a pontuação média downstream de 57.6 para 59.4, superando tanto o backbone congelado quanto uma linha de base LoRA com parâmetros correspondentes.

Esses resultados demonstram que a memória estática de frases pode ser integrada à inferência de LLMs como um componente escalável, sem treinamento e de baixa sobrecarga.