शोधकर्ताओं ने एक हाइब्रिड ब्लॉक डिफ्यूजन लैंग्वेज मॉडल (BDLM) का प्रस्ताव दिया है जो Mamba और एटेंशन आर्किटेक्चर को जोड़ता है और पूर्व के हाइब्रिड डिफ्यूजन मॉडल में निहित कैशिंग चुनौतियों को संबोधित करता है। रिवर्स Mamba स्कैन को केवल सक्रिय डीनोइजिंग ब्लॉक तक सीमित करके, विधि ब्लॉकों के बीच सटीक KV कैश पुन: उपयोग को सक्षम बनाती है, पूर्ण-क्रम स्कैन की केवल प्रीफ़िक्स-सीमा को दूर करती है।
- BDLM Mamba-H आर्किटेक्चर रिवर्स स्कैनिंग को सक्रिय डीनोइजिंग ब्लॉक तक सीमित करता है, जो ब्लॉक-दर-ब्लॉक डिफ्यूजन के दौरान सटीक कैशिंग को सक्षम बनाता है।
- DCLM पर 87M पैरामीटर की स्वीप में, BDLM Mamba-H ने BDLM एटेंशन और पूर्ण-क्रम बेलाइन की तुलना में सबसे अच्छा C4-en वैलिडेशन परप्लेक्सिटी हासिल किया।
- 350M पैरामीटर पर, मॉडल प्रदर्शन मेट्रिक्स के मामले में BDLM एटेंशन के साथ प्रतिस्पर्धी बना हुआ है।
- लंबे-संदर्भ इनफरेंस के लिए, BDLM Mamba-H 65K टोकन पर पूर्ण-क्रम DiffuMamba-H की गति का 19.7x और 262K पर BDLM एटेंशन की गति का 3.7x प्राप्त करता है।
यह दृष्टिकोण दिखाता है कि Mamba हाइब्रिड लंबे-संदर्भ डिफ्यूजन के लिए एक वैध आर्किटेक्चर हैं, प्रतिस्पर्धी परप्लेक्सिटी बनाए रखते हुए महत्वपूर्ण गति सुधार प्रदान करते हुए।