يقدم باحث BCMT، وهو بنية جديدة لنمذجة اللغة ذات السياق الطويل تستبدل الانتباه الذاتي العالمي الكثيف بعمليات كتلية. يجمع النموذج بين الانتباه السببي المحلي وملخصات سياقية تكيفية ونشر ذاكرة سببية لالتقاط التبعيات طويلة المدى بكفاءة.
- يتم تقليل التعقيد الحسابي من O(T²) إلى O(TL) لحجم كتلة ثابت.
- تتضمن التنفيذ البنية الكاملة، واستبعاد H-only، والأساس القياسي لمحوّل Transformer.
- أظهرت التجارب على WikiText-103 التباسات تحقق قريبة من محولات Transformer الكثيفة مع معدل إخراج أعلى واستخدام أقل لذاكرة GPU.
المشروع مفتوح المصدر، ويوفر كود PyTorch وscripts التدريب لمراجعة المجتمع.