CO-LMLM 引入连续查询有限记忆语言模型

作者提出了 CO-LMLM，这是一种有限记忆语言模型，它将事实知识外部化到一个将连续键与文本值配对的知识库中。这种方法允许模型以极低的成本生成灵活的向量查询，同时在生成过程中整合可读且可归因的检索知识。

• 该系统使用一个标注管道，对任意文本中的自由形式事实片段进行标记，消除了先前工作中对 Wikipedia 的限制。
• CO-LMLM 在多个模型规模上在 Wikipedia 和 FineWeb-Edu 上进行了预训练。
• 在 360M 规模下，它比在 40 倍更多数据上预训练的模型实现了更低的困惑度。
• 它在 SimpleQA-verified 性能上达到了与 gpt-4o-mini 相当且高于 Claude Sonnet 4.5 的水平。

CO-LMLM 在困惑度和事实准确性方面均优于先前的有限记忆语言模型和基础 LLM，提供了超越传统大型语言模型的知识控制能力。