शोधकर्ताओं ने Hidden Decoding का प्रस्ताव रखा है, जो एक क्रम-लंबाई स्केलिंग विधि है जिसे निरंतर प्रीट्रेनिंग के दौरान लागू किया जाता है। यह मौजूदा Transformer बैकबोन को महंगे पुनः प्रशिक्षण या आर्किटेक्चरल बदलावों के बिना सुधारने की अनुमति देता है। दृष्टिकोण प्रत्येक टोकन को n स्ट्रीम में विस्तारित करता है, जिसमें स्वतंत्र एम्बेडिंग टेबल्स होती हैं, और Stream-Factorized Attention का उपयोग करके गणनात्मक लागत को वर्ग (quadratic) से लगभग रैखिक (linear) बना देता है।
- WeLM-HD4-80B और WeLM-HD4-617B मॉडलों को n=4 पर प्रशिक्षित किया गया, जिसने मिलाने वाले गैर-HD बेलाइन से बेहतर प्रदर्शन दिखाया।
- Hidden Decoding 100B+ MoE स्केल पर दिखाई गई पहली क्रम-लंबाई स्केलिंग विधि है।
- जैसे-जैसे विस्तार कारक n बढ़ता है, प्रदर्शन लाभ भी बढ़ते हैं, जो इसे अग्रणी LLMs के लिए एक व्यावहारिक फिक्स्ड-बैकबोन स्केलिंग पथ के रूप में पुष्टि करता है।