Авторы предлагают CO-LMLM, ограниченную по памяти языковую модель, которая выносит фактические знания в базу знаний, сопоставляющую непрерывные ключи с текстовыми значениями. Такая архитектура позволяет модели генерировать гибкие векторные запросы при минимальных затратах, интегрируя извлеченные знания, которые можно прочитать человеком и атрибутировать.
- Система использует конвейер аннотирования, который размечает фактические фрагменты свободного формата в произвольном тексте, устраняя предыдущие ограничения, связанные с Wikipedia.
- CO-LMLM была предварительно обучена на данных Wikipedia и FineWeb-Edu в масштабах нескольких моделей.
- На масштабе 360M она демонстрирует меньшую перплексность, чем модели, предварительно обученные на 40 раз больше данных.
- Она достигает производительности SimpleQA-verified на уровне gpt-4o-mini и выше, чем Claude Sonnet 4.5.
CO-LMLM превосходит предыдущие ограниченные по памяти языковые модели и базовые большие языковые модели как по перплексности, так и по фактической точности.