يقترح باحث WideNDepth (WND)، وهو بنية عصبية تفصل بين تخزين المعرفة وعملية الاستدلال. يستخدم التصميم طبقة واسعة (Wide Layer) ومُشفِّر (Encoder) لتوليد تمثيلات غنية تُخزن في بنك الميزات (Feature Bank)، بينما تتعامل طبقة عمق (Depth Layer) منفصلة مع الاستدعاء التكراري عبر حالات مضغوطة.
- تحتفظ الطبقة الواسعة بمعلومات أكثر ثراءً، والتي يعالجها المُشفِّر إلى تمثيل يُخزن في بنك الميزات.
- يقلل المُضغوط (Compressor) هذا التمثيل إلى حالة أصغر لطبقة العمق.
- تقوم طبقة العمق بإجراء استدلال خطوة بخطوة على الحالة المضغوطة، باستخدام الاسترجاع القائم على الانتباه للوصول إلى بنك الميزات عند الحاجة.
- في مهام الاستدلال على الرسوم البيانية التي تتضمن سلاسل طويلة وصعوبة متوسطة، يتفوق نموذج WND الذي يحتوي على حوالي 100K معلمة على الأساس المرجعي للـ Transformer الذي يحتوي على حوالي 600K معلمة من حيث الأداء وسرعة التدريب وكفاءة العينات والبصمة.
يلاحظ المؤلف أن الطبقة الواسعة والمُشفِّر يهيمنان حالياً على عبء العمل، مما يترك طبقة العمق دون استغلال كافٍ، ويسعى إلى طرق لتقييد هذه المكونات للتركيز فقط على إنتاج معلومات مفيدة لطبقة الاستدلال.