शोधकर्ताओं ने पदानुक्रमित मार्कर्स विरल (HiLS) Attention प्रस्तावित किया, जो एक चंक-वार विरल तंत्र है जो भाषा मॉडलिंग हानि के तहत अंत-से-अंत चंक चयन सीखता है ताकि घनी ध्यान के वर्गाकार खर्च और खराब लंबाई बाह्यप्रसार को संबोधित किया जा सके।
- HiLS ध्यान को पदानुक्रमित रूप से विभाजित करता है, जिससे प्रत्येक क्वेरी पुनर्प्राप्ति स्कोर के आधार पर आउटपुट को विलय करने से पहले स्वतंत्र रूप से चंक-विशिष्ट जानकारी निकाल सके।
- विधि LM हानि के साथ पुनर्प्राप्ति स्कोर को सीधे अनुकूलित करती है, जिससे अचूक चंक चयन के बिना मूल विरल प्रशिक्षण सक्षम होता है।
- HiLS-Attention 90% पुनर्प्राप्ति सटीकता के साथ प्रशिक्षण संदर्भ लंबाई से 64 गुना अधिक बाह्यप्रसार करता है, लंबे संदर्भ परिदृश्यों में पूर्ण ध्यान को पार कर जाता है।
- मौजूदा पूर्ण-ध्यान मॉडलों को हल्के निरंतर पूर्व-प्रशिक्षण के माध्यम से HiLS-Attention में परिवर्तित किया जा सकता है, जिसमें डोमेन-अंदर प्रदर्शन बनाए रखते हुए अति-लंबे संदर्भ क्षमताएं प्राप्त होती हैं।
HiLS-Attention विरल KV एक्सेस को श्रेष्ठ बाह्यप्रसार के साथ जोड़कर सामान्य दक्षता-प्रदर्शन समझौते को तोड़ता है, जिससे लंबे संदर्भ वाले LLMs सक्षम होते हैं जो पूर्ण-ध्यान वाले अपने समकक्षों की तुलना में अधिक दक्ष और प्रभावी हैं।