Facebook के शोधकर्ताओं ने स्पार्स डेल्टा मेमोरी (SDM) पेश की है, एक आर्किटेक्चर जो स्पार्स एड्रेसिंग स्कीम का उपयोग करके गेटेड लीनियर RNNs के हिडन स्टेट को कई गुना अधिक क्षमता तक स्केल करता है। SDM ने Gated DeltaNet आर्किटेक्चर को विस्तारित किया है, जिसमें डेंस की-वैल्यू आउटर प्रोडक्ट को एक बड़ी एक्सप्लिसिट मेमोरी में स्पार्स रीड्स और राइट्स से बदल दिया गया है।
- isoFLOP बाधा के तहत और समान पैरामीटर संख्या के साथ, उच्च स्टेट मेमोरी क्षमता इन-कॉन्टेक्स्ट लर्निंग और लॉन्ग-कॉन्टेक्स्ट रीट्रीवल कार्यों पर प्रदर्शन को काफी बढ़ाती है।
- SDM मेमोरी की प्रारंभिक अवस्था को सीखकर पैरामीट्रिक मेमोरी के रूप में उपयोग करने से, मॉडल सामान्य ज्ञान और तर्क कार्यों पर और भी बेहतर होता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि लीनियर एटेंशन के स्टेट साइज को बढ़ाने से आमतौर पर अधिक FLOPs की लागत आती है, जबकि SDM उस कंप्यूटेशनल पेनल्टी के बिना बेहतर रिकॉल प्राप्त करता है।