يقترح الباحثون Hidden Decoding، وهي طريقة لتوسيع طول التسلسل تُطبق أثناء التدريب المسبق المستمر، مما يسمح للأنظمة الأساسية لـ Transformer الموجودة بالتحسن دون إعادة تدريب مكلفة أو تغييرات في البنية. تقوم هذه الطريقة بتوسيع كل رمز إلى n تدفقات بجداول تضمين مستقلة وتستخدم Stream-Factorized Attention لتقليل التكاليف الحسابية من التربيعية إلى الخطية تقريبًا بالنسبة لـ n.
- تم تدريب نماذج WeLM-HD4-80B وWeLM-HD4-617B عند n=4، مما أدى إلى تحسين الأداء مقارنةً بأساسيات غير HD المطابقة.
- يُعد Hidden Decoding أول طريقة لتوسيع طول التسلسل تم إثباتها على نطاق MoE يتجاوز 100 مليار معلمة.
- تزداد مكاسب الأداء مع زيادة عامل التوسع n، مما يؤكد أنه مسار عملي للتوسيع باستخدام بنية ثابتة لنماذج LLM المتقدمة.