CO-LMLMは連続クエリ限定記憶言語モデルを導入

著者らは、CO-LMLMを提案する。これは、連続キーとテキスト値のペアリングされた知識ベースへ事実的知識を外部化するための限定記憶言語モデルである。このアプローチにより、モデルは最小限のコストで柔軟なベクトルクエリを生成でき、生成中に人間が読めるかつ帰属可能な取得済み知識を統合できる。

• システムは、任意のテキスト内の自由形式の事実的スパンにタグ付けする注釈パイプラインを使用しており、先行研究で見られたWikipediaへの制限を撤廃している。
• CO-LMLMは、複数のモデルスケールでWikipediaとFineWeb-Edu上で事前学習された。
• 360Mスケールにおいて、40倍のデータで事前学習されたモデルよりも低いパープレキシティを実現する。
• SimpleQA検証済み性能はgpt-4o-miniに匹敵し、Claude Sonnet 4.5より高い。

CO-LMLMは、パープレキシティと事実的精度の両面で先行する限定記憶言語モデルやバニラLLMを上回り、従来の大規模言語モデルを超えた知識制御機能を提供する。