يقترح الباحثون نموذج لغة انتشار كتلة هجين (BDLM) يجمع بين معماريات Mamba وattention، مما يعالج تحديات التخزين المؤقت الكامنة في نماذج الانتشار الهجينة السابقة. من خلال تقييد مسح Mamba العكسي على كتلة إزالة الضوضاء النشطة فقط، تتيح الطريقة إعادة استخدام دقيق لـ KV cache عبر الكتل، متجاوزةً قيود المسار الأمامي فقط لمسوحات التسلسل الكامل.
- تقيد بنية BDLM Mamba-H المسح العكسي على كتلة إزالة الضوضاء النشطة، مما يتيح تخزينًا مؤقتًا دقيقًا أثناء الانتشار خطوة بخطوة.
- في مسح لـ 87M معلمة على DCLM، حقق BDLM Mamba-H أفضل تعقيد (perplexity) للتحقق من C4-en مقارنة بـ BDLM attention وخطوط الأساس للتسلسل الكامل.
- عند 350M معلمة، يظل النموذج منافسًا لـ BDLM attention من حيث مقاييس الأداء.
- للاستدلال ذو السياق الطويل، يصل BDLM Mamba-H إلى معدل إخراج (throughput) يساوي 19.7 ضعف DiffuMamba-H للتسلسل الكامل عند 65K رمزًا و3.7 ضعف معدل إخراج BDLM attention عند 262K.
تُظهر هذه النهج أن الهجائن من نوع Mamba هي بنية قابلة للتطبيق للانتشار ذو السياق الطويل، حيث تقدم تحسينات كبيرة في معدل الإخراج مع الحفاظ على تعقيد منافس.