शोधकर्ताओं ने बड़े भाषा मॉडलों में लंबे-संदर्भ प्रसंस्करण सक्षम करने और स्थिर मेमोरी स्केलिंग तथा बेहतर दक्षता प्राप्त करने के लिए सहसंबंधी पुनरावर्ती ट्रान्सफॉर्मर (ARMT) का प्रस्ताव दिया है।
- इस कार्य में यथार्थवादी संकीर्ण-डोमेन फाइन-ट्यूनिंग परिदृश्यों का मूल्यांकन करने के लिए दो डोमेन-विशिष्ट लंबे-संदर्भ डेटासेट पेश किए गए हैं।
- एक व्यापक प्रशिक्षण रेसिपी प्रदान की गई है, जिसमें निरंतर प्री-ट्रेनिंग, सिंथेटिक डेटा जनरेशन, करिकुलम लर्निंग और विशिष्ट मॉडल परतों में सहसंबंधी स्मृति का चयनात्मक एकीकरण शामिल है।
- ARMT-संवर्धित मॉडल मूल संदर्भ सीमाओं से कहीं अधिक दूर इनपुट को अच्छी तरह से प्रसंस्कृत करते हैं, जिसमें सीमा के भीतर की बेलाइन के सापेक्ष प्रदर्शन में कोई गिरावट नहीं आती।
- यह दृष्टिकोण वितरण के बाहर (out-of-distribution) संदर्भ लंबाई पर अधिक प्रभावी ढंग से सामान्यीकृत होता है।
- मूल संदर्भ विंडो के भीतर बेलाइन प्रदर्शन को बनाए रखते हुए मॉडलों को 30% कम FLOPs की आवश्यकता होती है।
यह विधि LLMs को लंबे इनपुट को कुशलता से संभालने देती है, जो मानक ट्रान्सफॉर्मर्स के वर्गात्मक कंप्यूट और रैखिक मेमोरी स्केलिंग सीमाओं को संबोधित करती है।