يقترح الباحثون محول الذاكرة المتكررة الارتباطية (ARMT) لتمكين معالجة السياق الطويل في النماذج اللغوية الكبيرة مع تحقيق قياس ذاكرة ثابت وكفاءة محسّنة.
- تقدم الدراسة مجموعتي بيانات للسياق الطويل خاصتين بالنطاق لتقييم سيناريوهات الضبط الدقيق الواقعية ضمن نطاق ضيق.
- يتم توفير وصفة تدريب شاملة، تجمع بين التدريب المسبق المستمر، وتوليد البيانات الاصطناعية، والتعلم المنهجي، والدمج الانتقائي للذاكرة الارتباطية في طبقات نموذج محددة.
- تعالج النماذج المعززة بـ ARMT المدخلات بشكل جيد بما يتجاوز حدود السياق الأصلية دون تدهور الأداء مقارنةً بالنماذج الأساسية ضمن الحدود.
- يعمّم هذا النهج بشكل أكثر فعالية على أطوال سياق خارج التوزيع.
- تتطلب النماذج 30% أقل من عمليات الضرب والإضافة (FLOPs) مع الحفاظ على أداء النموذج الأساسي ضمن نافذة السياق الأصلية.
تتيح هذه الطريقة للنماذج اللغوية الكبيرة معالجة مدخلات أطول بكفاءة، مما يعالج قيود الحساب التربيعي وقياس الذاكرة الخطي للمحوّلات القياسية.