CO-LMLM 引入连续查询有限记忆语言模型

作者提出了连续查询有限记忆语言模型（CO-LMLM），这是一种将事实知识外部化到知识库（KB）的范式，使用与文本值配对的连续键，摒弃了先前关系型 KB 方法。这种设计允许模型以极低的成本生成灵活的向量查询，同时在生成过程中整合可读且可归因的检索知识。

• CO-LMLM 利用一个注释管道，对任意文本中的自由形式事实片段进行标记，消除了以往工作中对 Wikipedia 的限制。
• 该模型在多个规模上使用 Wikipedia 和 FineWeb-Edu 进行了预训练。
• 在 360M 规模下，CO-LMLM 的困惑度低于使用多 40 倍数据预训练的模型。
• 在 SimpleQA 验证中，性能与 gpt-4o-mini 持平，并超过 Claude Sonnet 4.5。

CO-LMLM 在困惑度和事实准确性方面均优于先前的 LMLM 和基础 LLM，提供了超越传统大语言模型的知识控制能力。