يقدم الباحثون مُفكِّر الذاكرة على نطاق واسع، وهو نظام يوسّع نماذج الذاكرة طويلة الأمد البارامترية لتصل إلى 6.9 مليار معلمة ويطوّرها مسبقاً باستخدام 300 مليار رمز. وللتغلب على استحالة استخدام خطوط أنابيب Faiss القياسية عند هذا الحجم من البيانات، يطبّق المؤلفون خط أنابيب فهرسة موزع مع تحميل متناثر ودفعي لتوزيعات kNN.
- يوسّع النظام نماذج الذاكرة لتصل إلى 6.9 مليار معلمة ويستخدم 300 مليار رمز للتطوير المسبق.
- يتعامل خط أنابيب موزع مع فهرسة واسترجاع Faiss، مستخدماً التحميل المتناثر والدفعي لتوزيعات kNN.
- يرفع اقتران ذاكرة عامة بحجم 6.9 مليار مع Pythia-410M متوسط نتيجته من 29.86 إلى 37.34، متفوقاً على Pythia-12B (37.24) بنسبة أقل من المعلمات الإجمالية بنسبة 39%.
- بالنسبة لنماذج Qwen3 Base المتنوعة بين 0.6 مليار و14 مليار، تحسّن ذواكر المجال بحجم 1.7 مليار متوسط النتيجة عبر ثلاثة مجالات بأكثر من 9 نقاط عند كل نطاق.
تُظهر النتائج أن التوسع المستقل في الذاكرة المُطوّرة مسبقاً يوفر مساراً أكثر كفاءة من حيث المعلمات لتحسين أداء نماذج اللغة مقارنة بالتوسع في النموذج الأساسي وحده.