Os autores propõem o CO-LMLM, um modelo de linguagem com memória limitada que externaliza conhecimento factual para uma base de conhecimento que emparelha chaves contínuas com valores textuais. Este design permite que o modelo gere consultas vetoriais flexíveis a um custo mínimo, integrando conhecimento recuperado legível por humanos e atribuível.

  • O sistema utiliza um pipeline de anotação que marca trechos factuais de formato livre em texto arbitrário, removendo restrições anteriores ao Wikipedia.
  • O CO-LMLM foi pré-treinado no Wikipedia e FineWeb-Edu em múltiplas escalas de modelo.
  • Na escala de 360M, ele alcança uma perplexidade menor do que modelos pré-treinados com 40 vezes mais dados.
  • Ele atinge um desempenho verificado pelo SimpleQA em linha com o gpt-4o-mini e superior ao Claude Sonnet 4.5.

O CO-LMLM supera os modelos de linguagem com memória limitada anteriores e os grandes modelos de linguagem básicos tanto em perplexidade quanto em precisão factual.