Os autores propõem o CO-LMLM, um modelo de linguagem com memória limitada que externaliza o conhecimento factual para uma base de conhecimento que emparelha chaves contínuas com valores textuais. Esta abordagem permite que o modelo gere consultas vetoriais flexíveis a um custo mínimo, integrando conhecimento recuperado legível por humanos e atribuível durante a geração.

  • O sistema utiliza um pipeline de anotação que marca trechos factuais em texto arbitrário, removendo a restrição ao Wikipedia encontrada em trabalhos anteriores.
  • O CO-LMLM foi pré-treinado na Wikipedia e no FineWeb-Edu em múltiplas escalas de modelo.
  • Na escala de 360M, ele alcança uma perplexidade menor do que os modelos pré-treinados com 40 vezes mais dados.
  • Ele atinge um desempenho verificado pelo SimpleQA comparável ao gpt-4o-mini e superior ao do Claude Sonnet 4.5.

O CO-LMLM supera os modelos de linguagem com memória limitada anteriores e os LLMs básicos tanto em perplexidade quanto em precisão factual, oferecendo capacidades de controle de conhecimento além dos grandes modelos de linguagem convencionais.