Peneliti mengusulkan Hidden Decoding, metode penskalaan panjang urutan yang diterapkan selama pra-pelatihan berkelanjutan, yang memungkinkan tulang punggung Transformer yang ada untuk meningkat tanpa pelatihan ulang yang mahal atau perubahan arsitektur. Pendekatan ini memperluas setiap token menjadi n aliran dengan tabel embedding independen dan menggunakan Stream-Factorized Attention untuk mengurangi biaya komputasi dari kuadratik menjadi hampir linear terhadap n.
- Model WeLM-HD4-80B dan WeLM-HD4-617B dilatih pada n=4, meningkatkan kinerja dibandingkan baseline non-HD yang setara.
- Hidden Decoding adalah metode penskalaan panjang urutan pertama yang didemonstrasikan pada skala MoE 100B+.
- Peningkatan kinerja meningkat seiring bertambahnya faktor ekspansi n, mengonfirmasikannya sebagai jalur penskalaan tulang punggung tetap yang praktis untuk LLM skala terdepan.