Os autores propõem Modelos de Linguagem com Memória Limitada e Consulta Contínua (CO-LMLM), um paradigma que externaliza o conhecimento factual para uma base de conhecimento (KB) usando chaves contínuas emparelhadas com valores textuais, afastando-se das abordagens anteriores de KB relacionais. Este design permite que o modelo gere consultas vetoriais flexíveis a um custo mínimo, integrando conhecimento recuperado legível por humanos e atribuível durante a geração.

  • O CO-LMLM utiliza um pipeline de anotação que marca trechos factuais de forma livre em texto arbitrário, removendo as restrições ao Wikipedia encontradas em trabalhos anteriores.
  • O modelo foi pré-treinado no Wikipedia e no FineWeb-Edu em múltiplas escalas.
  • Na escala de 360M, o CO-LMLM alcança uma perplexidade menor do que modelos pré-treinados com 40 vezes mais dados.
  • Na verificação SimpleQA, o desempenho iguala o gpt-4o-mini e excede o Claude Sonnet 4.5.

O CO-LMLM supera as LMLMs anteriores e os LLMs básicos tanto em perplexidade quanto em precisão factual, oferecendo capacidades de controle de conhecimento além dos modelos de linguagem grandes convencionais.