CO-LMLMは連続クエリ限定メモリ言語モデルを導入

著者らは、CO-LMLMを提案する。これは、連続キーとテキスト値のペアリングされた知識ベースへ事実的知識を外部化する限定メモリ言語モデルである。この設計により、モデルは最小限のコストで柔軟なベクトルクエリを生成しつつ、人間が読み可能で帰属可能な検索された知識を統合できる。

• システムは、任意のテキスト内の自由形式の事実的スパンにタグ付けする注釈パイプラインを使用し、以前のWikipediaへの制限を撤廃した。
• CO-LMLMは、複数のモデルスケールでWikipediaとFineWeb-Edu上で事前学習された。
• 360Mスケールにおいて、40倍のデータで事前学習されたモデルよりも低いパープレキシティを達成する。
• gpt-4o-miniと同水準であり、Claude Sonnet 4.5よりも高いSimpleQA検証済み性能を達成する。

CO-LMLMは、パープレキシティと事実的精度の両方において、従来の限定メモリ言語モデルやバニラ大規模言語モデルを上回る。