著者らは、Continuous-Query Limited Memory Language Models (CO-LMLM)を提案する。これは、連続キーとテキスト値のペアを用いて事実知識を知識ベース（KB）に外部化するパラダイムであり、従来の関係型KBアプローチとは一線を画す。この設計により、モデルは最小限のコストで柔軟なベクトルクエリを生成でき、生成中に人間が読み可能で帰属可能な検索された知識を統合できる。

  • CO-LMLMは、自由形式の事実スパンを任意のテキストにタグ付けする注釈パイプラインを利用しており、以前の研究で見られたWikipediaへの制限を取り除いている。
  • このモデルは、複数のスケールでWikipediaとFineWeb-Edu上で事前学習された。
  • 360Mスケールにおいて、CO-LMLMは40倍のデータで事前学習されたモデルよりも低いパープレキシティを達成する。
  • SimpleQA検証では、gpt-4o-miniと同等のパフォーマンスを発揮し、Claude Sonnet 4.5を上回る。

CO-LMLMは、パープレキシティと事実精度の両方で従来のLMLMsやバニラLLLMsを上回り、従来の大規模言語モデルを超えた知識制御機能を提供する。