TF-Engram представляет память для LLM без обучения на базе SSD

Авторы представляют TF-Engram, систему Engram без обучения, которая конструирует семантическую память, специфичную для фраз, офлайн на основе внешних корпусов и хранит большие таблицы памяти в иерархии GPU-DRAM-SSD. Она использует ранний выход с направляемой предсказательной предварительной выборкой (Early-Exit Guided Predictive Prefetching), чтобы скрыть задержку внешней памяти во время авторегрессионного декодирования.

На Qwen3-0.6B TF-Engram улучшает средний балл downstream с 57.6 до 59.4, превосходя как замороженную базовую модель, так и базовый LoRA с сопоставимым количеством параметров.

Эти результаты демонстрируют, что статическая фразовая память может быть интегрирована в вывод LLM как масштабируемый, не требующий обучения компонент системы с низкими накладными расходами.