TF-Engram تقدم ذاكرة خالية من التدريب مدعومة بـ SSD للنماذج اللغوية الكبيرة

يقدم المؤلفون TF-Engram، وهو نظام Engram خالٍ من التدريب يبني ذاكرة دلالية خاصة بالعبارات بشكل غير متصل من مجموعات بيانات خارجية ويخزن جداول ذاكرة كبيرة عبر تسلسل GPU-DRAM-SSD. يستخدم تقنية Early-Exit Guided Predictive Prefetching لإخفاء زمن الوصول للذاكرة الخارجية أثناء فك التشفير الذاتي الارتباطي.

على نموذج Qwen3-0.6B، يحسّن TF-Engram متوسط النتيجة في المهام اللاحقة من 57.6 إلى 59.4، متفوقًا على كل من الهيكل الأساسي المجمّد والأساس LoRA المطابق في المعاملات.

تُظهر هذه النتائج أنه يمكن دمج ذاكرة العبارات الثابتة في استنتاج النماذج اللغوية الكبيرة كمكون نظام قابل للتوسع، وخالٍ من التدريب، وذو حمل زائد منخفض.