Авторы предлагают CO-LMLM, языковую модель с ограниченной памятью, которая выносит фактические знания в базу знаний, сопоставляющую непрерывные ключи с текстовыми значениями. Этот подход позволяет модели генерировать гибкие векторные запросы при минимальных затратах, интегрируя при этом читаемые человеком и атрибутируемые извлеченные знания во время генерации.
- Система использует конвейер аннотирования, который размечает фактические фрагменты произвольного текста, устраняя ограничение на использование Wikipedia, присутствовавшее в предыдущих работах.
- CO-LMLM была предварительно обучена на данных Wikipedia и FineWeb-Edu в масштабах нескольких моделей.
- На масштабе 360M она демонстрирует более низкую перплексность по сравнению с моделями, предварительно обученными на 40 раз больше данных.
- Она достигает производительности SimpleQA-verified, сопоставимой с gpt-4o-mini и превосходящей Claude Sonnet 4.5.
CO-LMLM превосходит предыдущие языковые модели с ограниченной памятью и обычные LLM как по перплексности, так и по фактической точности, предлагая возможности контроля знаний, выходящие за рамки обычных больших языковых моделей.