Авторы предлагают Языковые Модели с Непрерывным Запросом и Ограниченной Памятью (CO-LMLM), парадигму, которая выносит фактические знания во внешнюю базу знаний (KB) с использованием непрерывных ключей, связанных с текстовыми значениями, отходя от предыдущих подходов к реляционным базам знаний. Такая архитектура позволяет модели генерировать гибкие векторные запросы при минимальных затратах, интегрируя при этом извлеченные знания, доступные для чтения человеком и имеющие прослеживаемое происхождение, в процессе генерации.

  • CO-LMLM использует конвейер аннотирования, который размечает фактические фрагменты произвольного текста, устраняя ограничения по использованию только Wikipedia, существовавшие в предыдущих работах.
  • Модель была предварительно обучена на данных Wikipedia и FineWeb-Edu в нескольких масштабах.
  • На масштабе 360M CO-LMLM демонстрирует меньшую перплексность, чем модели, предварительно обученные на объеме данных в 40 раз больше.
  • При проверке SimpleQA результаты соответствуют gpt-4o-mini и превосходят Claude Sonnet 4.5.

CO-LMLM превосходит предыдущие LMLM и обычные LLM как по перплексности, так и по фактической точности, предлагая возможности контроля знаний, выходящие за рамки традиционных больших языковых моделей.