Los autores proponen Modelos de Lenguaje con Memoria Limitada y Consulta Continua (CO-LMLM), un paradigma que externaliza el conocimiento factual a una base de conocimientos (KB) utilizando claves continuas emparejadas con valores textuales, distanciándose de los enfoques previos de KB relacionales. Este diseño permite al modelo generar consultas vectoriales flexibles a un costo mínimo mientras integra el conocimiento recuperado durante la generación, que es legible por humanos y atribuible.

  • CO-LMLM utiliza una tubería de anotación que etiqueta fragmentos factuales de forma libre en texto arbitrario, eliminando las restricciones a Wikipedia encontradas en trabajos anteriores.
  • El modelo fue preentrenado en Wikipedia y FineWeb-Edu en múltiples escalas.
  • A la escala de 360M, CO-LMLM logra una menor perplexidad que los modelos preentrenados con 40 veces más datos.
  • En la verificación SimpleQA, el rendimiento iguala a gpt-4o-mini y supera a Claude Sonnet 4.5.

CO-LMLM supera a las LMLM previas y a los LLMs básicos tanto en perplexidad como en precisión factual, ofreciendo capacidades de control de conocimiento más allá de los modelos de lenguaje grandes convencionales.