TF-Engram 引入基于 SSD 的无需训练的 LLM 记忆

作者提出了 TF-Engram，这是一种无需训练的 Engram 系统，它从外部语料库离线构建短语特定的语义记忆，并在 GPU-DRAM-SSD 层次结构中存储大型记忆表。它利用 Early-Exit Guided Predictive Prefetching 在自回归解码期间隐藏外部内存延迟。

在 Qwen3-0.6B 上，TF-Engram 将下游平均得分从 57.6 提高到 59.4，优于冻结主干和参数匹配的 LoRA 基线。

这些结果表明，静态短语记忆可以作为可扩展、无需训练且低开销的系统组件集成到 LLM 推理中。