يقترح الباحثون انتباه HiLS (التناثر الهرمي للعناصر المرجعية)، وهو آلية متناثرة على مستوى القطع تتعلم اختيار القطع بشكل متكامل تحت خسارة نمذجة اللغة لمعالجة التكلفة التربيعية والاستقراء السيئ للطول في الانتباه الكثيف.
- يقوم HiLS بتحليل الانتباه هرمياً، مما يسمح لكل استعلام باستخراج معلومات خاصة بالقطعة بشكل مستقل قبل دمج المخرجات بناءً على درجات الاسترجاع.
- تحسّن الطريقة درجات الاسترجاع مباشرة باستخدام خسارة النموذج اللغوي (LM)، مما يتيح التدريب المتناثر الأصلي دون اختيار غير دقيق للقطع.
- يستخرج HiLS-Attention أكثر من 64 مرة من طول سياق التدريب بدقة استرجاع تبلغ 90٪، متفوقاً على الانتباه الكامل في سيناريوهات السياق الطويل.
- يمكن تحويل نماذج الانتباه الكامل الموجودة إلى HiLS-Attention عبر إعادة التدريب المسبق المستمر الخفيف، مع الحفاظ على الأداء داخل المجال واكتساب قدرات سياق فائق الطول.
- يكسر HiLS-Attention المقايضة المعتادة بين الكفاءة والأداء من خلال الجمع بين الوصول المتناثر لـ KV واستقراء متفوق، مما يتيح نماذج لغوية كبيرة (LLMs) للسياق الطويل تكون أكثر كفاءة وفعالية من نظيراتها ذات الانتباه الكامل.