एक शोधकर्ता BCMT पेश करते हैं, जो लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग के लिए एक नई आर्किटेक्चर है जो घनी ग्लोबल सेल्फ-एटेंशन को ब्लॉकवाइज ऑपरेशंस से बदल देता है। मॉडल स्थानीय कैज़ुअल एटेंशन को एडेप्टिव कॉन्टेक्स्टुअल सारांश और कैज़ुअल मेमोरी प्रोपगेशन के साथ जोड़कर लॉन्ग-रेंज डिपेंडेंसी को दक्षता से पकड़ता है।
- एक फिक्स्ड ब्लॉक साइज के लिए कंप्यूटेशनल कॉम्प्लेक्सिटी O(T²) से O(TL) तक कम हो जाती है।
- इम्प्लीमेंटेशन में पूरी आर्किटेक्चर, H-only एब्लेशन, और एक स्टैंडर्ड ट्रान्सफॉर्मर बेलाइन शामिल हैं।
- WikiText-103 पर प्रयोगों में घने ट्रान्सफॉर्मर्स के करीब वैलिडेशन पेरप्लेक्सिटी दिखाई गई है, जिसमें उच्च थ्रूपुट और कम GPU मेमोरी उपयोग है।
यह प्रोजेक्ट ओपन सोर्स है, जो समुदाय समीक्षा के लिए PyTorch कोड और ट्रेनिंग स्क्रिप्ट प्रदान करता है।