作者提出了 CO-LMLM，这是一种有限记忆语言模型，它将事实知识外部化到一个将连续键与文本值配对的知识库中。这种设计允许模型以极低的成本生成灵活的向量查询，同时整合可读且可归因的检索知识。

  • 该系统使用一个注释管道，对任意文本中的自由格式事实片段进行标记，消除了此前对 Wikipedia 的限制。
  • CO-LMLM 在多个模型规模上在 Wikipedia 和 FineWeb-Edu 上进行了预训练。
  • 在 360M 规模下，它实现了比在 40 倍更多数据上预训练的模型更低的困惑度。
  • 它在 SimpleQA-verified 性能上与 gpt-4o-mini 持平，并高于 Claude Sonnet 4.5。

CO-LMLM 在困惑度和事实准确性方面均优于先前的有限记忆语言模型和基础大型语言模型。