Los autores proponen CO-LMLM, un modelo de lenguaje con memoria limitada que externaliza el conocimiento factual a una base de conocimientos que empareja claves continuas con valores textuales. Este diseño permite al modelo generar consultas vectoriales flexibles a un costo mínimo mientras integra conocimiento recuperado legible por humanos y atribuible.

  • El sistema utiliza una canalización de anotación que etiqueta fragmentos factuales de formato libre en texto arbitrario, eliminando restricciones previas a Wikipedia.
  • CO-LMLM fue preentrenado en Wikipedia y FineWeb-Edu en múltiples escalas de modelo.
  • A la escala de 360M, alcanza una perplejidad menor que los modelos preentrenados con 40 veces más datos.
  • Alcanza un rendimiento verificado por SimpleQA en línea con gpt-4o-mini y superior a Claude Sonnet 4.5.

CO-LMLM supera a los modelos de lenguaje con memoria limitada anteriores y a los grandes modelos de lenguaje básicos tanto en perplejidad como en precisión factual.