Los autores proponen CO-LMLM, un modelo de lenguaje con memoria limitada que externaliza el conocimiento factual a una base de conocimientos que empareja claves continuas con valores textuales. Este enfoque permite al modelo generar consultas vectoriales flexibles a un costo mínimo mientras integra conocimiento recuperado legible por humanos y atribuible durante la generación.

  • El sistema utiliza una tubería de anotación que etiqueta fragmentos factuales en texto arbitrario, eliminando la restricción a Wikipedia encontrada en trabajos previos.
  • CO-LMLM fue preentrenado en Wikipedia y FineWeb-Edu en múltiples escalas de modelo.
  • A la escala de 360M, logra una perplejidad menor que los modelos preentrenados con 40 veces más datos.
  • Alcanza un rendimiento verificado por SimpleQA comparable a gpt-4o-mini y superior al de Claude Sonnet 4.5.

CO-LMLM supera a los modelos de lenguaje con memoria limitada anteriores y a los LLMs básicos tanto en perplejidad como en precisión factual, ofreciendo capacidades de control de conocimiento más allá de los grandes modelos de lenguaje convencionales.