लेखकों ने CO-LMLM का प्रस्ताव रखा है, जो एक सीमित मेमोरी भाषा मॉडल है जो तथ्यात्मक ज्ञान को एक ज्ञान आधार में बाह्यीकृत करता है जो निरंतर कुंजियों को पाठ्य मानों के साथ जोड़ता है। यह डिज़ाइन मॉडल को न्यूनतम लागत पर लचीले वेक्टर क्वेरी उत्पन्न करने की अनुमति देता है, जबकि मानव-पठनीय और अट्रिब्यूटेबल पुनर्प्राप्त ज्ञान को एकीकृत करता है।
- सिस्टम एक एनोटेशन पाइपलाइन का उपयोग करता है जो मनमाने पाठ में स्वतंत्र-फॉर्म तथ्यात्मक स्पैन को टैग करता है, पूर्व में Wikipedia तक सीमित प्रतिबंधों को हटाता है।
- CO-LMLM को कई मॉडल स्केल पर Wikipedia और FineWeb-Edu पर प्रीट्रेन किया गया था।
- 360M स्केल पर, यह 40x अधिक डेटा पर प्रीट्रेन किए गए मॉडलों की तुलना में कम perplexity प्राप्त करता है।
- यह gpt-4o-mini के साथ रेखा में और Claude Sonnet 4.5 से उच्चतर SimpleQA-verified प्रदर्शन प्राप्त करता है।
CO-LMLM perplexity और तथ्यात्मक सटीकता दोनों में पूर्व सीमित मेमोरी भाषा मॉडल और वैनिला बड़े भाषा मॉडल को हराता है।