研究人员提出了隐藏解码（Hidden Decoding），这是一种在持续预训练期间应用的序列长度缩放方法，允许现有的Transformer骨干网络在不进行昂贵的重新训练或架构更改的情况下得到改进。该方法将每个令牌扩展为n个流，并使用独立的嵌入表，同时利用Stream-Factorized Attention将计算成本从二次方降低至大约与n成线性关系。

  • WeLM-HD4-80B和WeLM-HD4-617B模型在n=4时进行了训练，性能优于匹配的非HD基线模型。
  • Hidden Decoding是首个在100B+ MoE规模上展示的序列长度缩放方法。
  • 随着扩展因子n的增加，性能提升也随之增加，证实了它是前沿大语言模型的一种实用的固定骨干网络缩放路径。