TF-Engram introduit une mémoire sans entraînement pour les LLMs, soutenue par SSD

Les auteurs présentent TF-Engram, un système Engram sans entraînement qui construit hors ligne une mémoire sémantique spécifique aux phrases à partir de corpus externes et stocke de grandes tables de mémoire sur une hiérarchie GPU-DRAM-SSD. Il utilise le prefetching prédictif guidé par Early-Exit pour masquer la latence de la mémoire externe lors du décodage autoregressif.

Sur Qwen3-0.6B, TF-Engram améliore le score moyen en aval de 57,6 à 59,4, surpassant à la fois le backbone figé et une baseline LoRA appariée en paramètres.

Ces résultats démontrent qu'une mémoire de phrases statique peut être intégrée à l'inférence des LLMs en tant que composant système évolutible, sans entraînement et à faible surcharge.