연구자들은 기존 Transformer 백본이 비용이 많이 드는 재학습이나 아키텍처 변경 없이도 성능을 개선할 수 있도록, 지속 사전 훈련 중에 적용되는 시퀀스 길이 스케일링 방법인 Hidden Decoding을 제안했습니다. 이 접근 방식은 각 토큰을 독립적인 임베딩 테이블을 가진 n개의 스트림으로 확장하고, Stream-Factorized Attention를 사용하여 계산 비용을 이차 함수에서 n에 대해 거의 선형으로 줄입니다.
- WeLM-HD4-80B 및 WeLM-HD4-617B 모델은 n=4로 훈련되었으며, 매칭된 비HD 베이스라인보다 성능이 향상되었습니다.
- Hidden Decoding은 100B 이상 MoE 스케일에서 실증된 최초의 시퀀스 길이 스케일링 방법입니다.
- 확장 계수 n이 증가할수록 성능 향상이 커지며, 이는 최전선 규모 LLM을 위한 실용적인 고정 백본 스케일링 경로임을 확인합니다.