एक शोधकर्ता ने WideNDepth (WND) का प्रस्ताव रखा है, जो एक न्यूरल आर्किटेक्चर है जो ज्ञान भंडारण को तर्क प्रक्रिया से अलग करता है। डिज़ाइन में Feature Bank में संग्रहीत समृद्ध प्रतिनिधित्व उत्पन्न करने के लिए Wide Layer और Encoder का उपयोग किया जाता है, जबकि एक अलग Depth Layer संपीड़ित अवस्थाओं के माध्यम से पुनरावृत्त तर्क संभालती है।
- Wide Layer अधिक समृद्ध जानकारी रखता है, जिसे Encoder द्वारा Feature Bank में संग्रहीत प्रतिनिधित्व में प्रोसेस किया जाता है।
- एक Compressor इस प्रतिनिधित्व को Depth Layer के लिए छोटी अवस्था में कम करता है।
- DepthLayer संपीड़ित अवस्था पर चरण-दर-चरण तर्क करती है, जब आवश्यकता हो तो Feature Bank तक पहुंचने के लिए attention-based retrieval का उपयोग करती है।
- लंबी चेन और मध्यम कठिनाई वाले ग्राफ़ तर्क कार्यों पर, ~100K पैरामीटर वाला WND मॉडल प्रदर्शन, प्रशिक्षण गति, नमूना दक्षता और फुटप्रिंट में ~600K Transformer बेलाइन से बेहतर प्रदर्शन करता है।
लेखक ने नोट किया कि Wide Layer और Encoder वर्तमान में कार्यभार को प्रमुख रूप से संभाल रहे हैं, जिससे Depth Layer का उपयोग अपर्याप्त रह जाता है, और वे तर्क परत के लिए केवल उपयोगी जानकारी उत्पन्न करने पर ध्यान केंद्रित करने के लिए इन घटकों को सीमित करने के तरीकों की खोज कर रहे हैं।