लेखकों ने CO-LMLM का प्रस्ताव रखा है, जो एक सीमित मेमोरी लैंग्वेज मॉडल है जो तथ्यात्मक ज्ञान को एक ज्ञान आधार में बाह्यीकृत करता है जो निरंतर कुंजियों को पाठ्य मानों के साथ जोड़ता है। यह दृष्टिकोण मॉडल को न्यूनतम लागत पर लचीले सदिश क्वेरी उत्पन्न करने की अनुमति देता है, जबकि उत्पादन के दौरान मानव-पाठ्य और योगदान योग्य पुनर्प्राप्त ज्ञान को एकीकृत करता है।
- सिस्टम एक टिप्पणी पाइपलाइन का उपयोग करता है जो मनमाने पाठ में स्वतंत्र-रूप तथ्यात्मक खंडों को टैग करता है, पूर्व कार्य में पाए गए Wikipedia तक सीमितता को हटा देता है।
- CO-LMLM को कई मॉडल स्केल पर Wikipedia और FineWeb-Edu पर प्रीट्रेन किया गया था।
- 360M स्केल पर, यह 40 गुना अधिक डेटा पर प्रीट्रेन किए गए मॉडलों की तुलना में कम perplexity प्राप्त करता है।
- यह SimpleQA-verified प्रदर्शन को gpt-4o-mini के समान और Claude Sonnet 4.5 से उच्च प्राप्त करता है।
CO-LMLM perplexity और तथ्यात्मक सटीकता दोनों में पूर्व सीमित मेमोरी लैंग्वेज मॉडल और वैनिला LLMs को हराता है, पारंपरिक बड़े लैंग्वेज मॉडलों से परे ज्ञान नियंत्रण क्षमताएं प्रदान करता है।