नोह डीएंजेलिज ने GPT मॉडल के लिए एक प्रायोगिक रूटिंग-आधारित एटेंशन तंत्र विकसित किया है, जिसे RoutingGPT नामक एक PyTorch प्रोजेक्ट में लागू किया गया है। यह दृष्टिकोण कुंजी और मानों के रूप में टोकन के उपसमुच्चय का चयन करने के लिए एक सीखी गई रैखिक परत का उपयोग करता है, जबकि सभी टोकन को क्वेरी के रूप में रखता है।
- डिफ़ॉल्ट 25% रूटिंग अनुपात के साथ, जटिलता घनी एटेंशन के लिए T × T से कम होकर T × 0.25T रह जाती है।
- लक्ष्य एटेंशन की गणना को कम करना और कम-अंत वाले हार्डवेयर पर लंबे संदर्भ लंबाई को सक्षम बनाना है।
- प्रोजेक्ट Apache 2.0 लाइसेंस के तहत जारी किया गया है और वर्तमान में कड़ाई से बेंचमार्किंग के बिना प्रायोगिक है।