Para penulis mengusulkan Continuous-Query Limited Memory Language Models (CO-LMLM), sebuah paradigma yang mengeksternalisasi pengetahuan faktual ke basis pengetahuan (KB) menggunakan kunci kontinu yang dipasangkan dengan nilai teks, berbeda dari pendekatan KB relasional sebelumnya. Desain ini memungkinkan model menghasilkan kueri vektor yang fleksibel dengan biaya minimal sambil mengintegrasikan pengetahuan yang diambil yang dapat dibaca manusia dan dapat dilacak selama generasi.

  • CO-LMLM memanfaatkan pipeline anotasi yang menandai rentang faktual bebas-forma dalam teks sembarang, menghilangkan batasan terhadap Wikipedia yang ditemukan dalam pekerjaan sebelumnya.
  • Model ini pra-latih pada Wikipedia dan FineWeb-Edu di berbagai skala.
  • Pada skala 360M, CO-LMLM mencapai perplexity lebih rendah daripada model yang pra-latih pada data 40x lebih banyak.
  • Pada verifikasi SimpleQA, kinerja setara dengan gpt-4o-mini dan melebihi Claude Sonnet 4.5.

CO-LMLM mengungguli LMLM sebelumnya dan LLM vanilla baik dalam perplexity maupun presisi faktual, menawarkan kemampuan kontrol pengetahuan yang melampaui model bahasa besar konvensional.