लेखकों ने निरंतर-क्वेरी सीमित मेमोरी भाषा मॉडल्स (CO-LMLM) का प्रस्ताव रखा है, जो एक ऐसा पैराडाइम है जो सातत्यपूर्ण कुंजियों को पाठ्यमानों के साथ जोड़कर तथ्यात्मक ज्ञान को एक ज्ञान आधार (KB) में बाहरी करता है, पूर्व संबंधित KB दृष्टिकोणों से अलग होकर। यह डिज़ाइन मॉडल को न्यूनतम लागत पर लचीले सदिश क्वेरी उत्पन्न करने की अनुमति देता है, साथ ही उत्पादन के दौरान मानव-पठनीय और योगदान-योग्य पुनर्प्राप्त ज्ञान को एकीकृत करता है।
- CO-LMLM एक टिप्पणी पाइपलाइन का उपयोग करता है जो मनमाने पाठ में स्वतंत्र-रूप तथ्यात्मक खंडों को टैग करता है, पूर्व कार्य में पाए गए Wikipedia तक सीमितताओं को हटा देता है।
- मॉडल को कई स्तरों पर Wikipedia और FineWeb-Edu पर प्रीट्रेन किया गया था।
- 360M स्तर पर, CO-LMLM उन मॉडल्स की तुलना में कम perplexity प्राप्त करता है जो 40 गुना अधिक डेटा पर प्रीट्रेन किए गए थे।
- SimpleQA सत्यापन पर, प्रदर्शन gpt-4o-mini के बराबर है और Claude Sonnet 4.5 को पार कर जाता है।
CO-LMLM perplexity और तथ्यात्मक सटीकता दोनों में पूर्व LMLMs और वैनिला LLMs से बेहतर प्रदर्शन करता है, पारंपरिक बड़े भाषा मॉडलों के परे ज्ञान नियंत्रण क्षमताएं प्रदान करता है।