CO-LMLM memperkenalkan model bahasa memori terbatas dengan kueri kontinu

Para penulis mengusulkan CO-LMLM, sebuah model bahasa memori terbatas yang mengeksternalisasi pengetahuan faktual ke basis pengetahuan yang memasangkan kunci kontinu dengan nilai teks. Pendekatan ini memungkinkan model untuk menghasilkan kueri vektor yang fleksibel dengan biaya minimal sambil mengintegrasikan pengetahuan yang diambil yang dapat dibaca manusia dan dapat dilacak selama generasi.

• Sistem menggunakan pipeline anotasi yang menandai rentang faktual bebas-forma dalam teks sembarang, menghilangkan batasan Wikipedia yang ditemukan dalam karya sebelumnya.
• CO-LMLM telah dipra-latih pada Wikipedia dan FineWeb-Edu di berbagai skala model.
• Pada skala 360M, ia mencapai perplexity lebih rendah daripada model yang dipra-latih pada data 40x lebih banyak.
• Ia mencapai kinerja yang diverifikasi SimpleQA yang sebanding dengan gpt-4o-mini dan lebih tinggi dari Claude Sonnet 4.5.

CO-LMLM mengungguli model bahasa memori terbatas sebelumnya dan LLM vanilla dalam hal perplexity dan presisi faktual, menawarkan kemampuan kontrol pengetahuan di luar model bahasa besar konvensional.