研究者らは、継続的事前トレーニング中に適用されるシーケンス長スケール手法であるHidden Decodingを提案した。この手法により、既存のTransformerバックボンは高コストな再トレーニングやアーキテクチャ変更なしで改善可能となる。各トークンを独立した埋め込みテーブルを持つn本のストリームに展開し、Stream-Factorized Attentionを用いて計算コストを二次関数的からnに対してほぼ線形に削減する。

  • WeLM-HD4-80BおよびWeLM-HD4-617Bモデルはn=4でトレーニングされ、マッチングされた非HDベースラインを上回った。
  • Hidden Decodingは100B以上のMoEスケールで実証された初のシーケンス長スケール手法である。
  • 拡張係数nが増加するにつれてパフォーマンスの向上が大きくなることは、最先端スケールのLLMにとって実用的な固定バックボンスケーリングパスであることを確認している。