قدّم باحثو فيسبوك ذاكرة دلتا المتناثرة (SDM)، وهي بنية توسّع الحالة المخفية لشبكات RNN الخطية ذات البوابات إلى سعات أعلى بمئات المرات باستخدام مخطط معالجة متناثر. تمدّ SDM بنية Gated DeltaNet عن طريق استبدال المنتج الخارجي الكثيف للمفتاح والقيمة بقراءات وكتابات متناثرة على ذاكرة صريحة كبيرة.
- تحت قيد isoFLOP ومع عدد متطابق من المعاملات، تحسّن سعة الذاكرة الحالة بشكل ملحوظ الأداء في مهام التعلم ضمن السياق واسترجاع السياقات الطويلة.
- من خلال تعلم الحالة الأولية لذاكرة SDM لاستخدامها كذاكرة معاملية، يحسّن النموذج أدائه في مهام المعرفة الشائعة والاستدلال.
يُعتبر المؤلفون هذا الأمر مهماً لأن زيادة حجم حالة الانتباه الخطي عادة ما تكلف عمليات حسابية (FLOPs) أعلى، بينما تحقق SDM استرجاعاً أفضل دون تلك التكلفة الحسابية.