Para penulis mengusulkan CO-LMLM, sebuah model bahasa memori terbatas yang mengeksternalisasi pengetahuan faktual ke basis pengetahuan yang memasangkan kunci kontinu dengan nilai teks. Desain ini memungkinkan model untuk menghasilkan kueri vektor yang fleksibel dengan biaya minimal sambil mengintegrasikan pengetahuan yang diambil yang dapat dibaca manusia dan dapat dilacak.

  • Sistem menggunakan pipeline anotasi yang menandai rentang faktual bebas-forma dalam teks apa pun, menghapus batasan sebelumnya ke Wikipedia.
  • CO-LMLM telah pra-dilatih pada Wikipedia dan FineWeb-Edu di berbagai skala model.
  • Pada skala 360M, ia mencapai perplexity lebih rendah daripada model yang pra-dilatih dengan data 40x lebih banyak.
  • Ia mencapai kinerja terverifikasi SimpleQA yang sejalan dengan gpt-4o-mini dan lebih tinggi dari Claude Sonnet 4.5.

CO-LMLM mengungguli model bahasa memori terbatas sebelumnya dan model bahasa besar biasa dalam hal perplexity dan presisi faktual.