يقترح المؤلفون Continuous-Query Limited Memory Language Models (CO-LMLM)، وهو نموذج خارجي للمعرفة الواقعية إلى قاعدة معرفة (KB) باستخدام مفاتيح مستمرة مقترنة بقيم نصية، مبتعدًا عن نهج KB العلائقي السابق. يسمح هذا التصميم للنموذج بتوليد استعلامات متجه مرنة بأقل تكلفة مع دمج المعرفة المسترجعة القابلة للقراءة من قبل الإنسان والقابلة للنسبة أثناء التوليد.
- يستخدم CO-LMLM خط أنابيب توثيق يوسم النطاقات الواقعية الحرة في أي نص، مما يلغي القيود على ويكيبيديا الموجودة في الأعمال السابقة.
- تم تدريب النموذج مسبقًا على ويكيبيديا وFineWeb-Edu عبر مقاييس متعددة.
- عند المقياس 360M، يحقق CO-LMLM انخفاضًا في ال perplexity مقارنة بالنماذج المدربة مسبقًا على بيانات أكثر بـ40 مرة.
- في التحقق من SimpleQA، تتطابق الأداء مع gpt-4o-mini وتتجاوز Claude Sonnet 4.5.
يتفوق CO-LMLM على LMLMs السابقة وLLLMs العادية في كل من ال perplexity والدقة الواقعية، مما يوفر قدرات تحكم في المعرفة تتجاوز النماذج اللغوية الكبيرة التقليدية.