Les chercheurs proposent Hidden Decoding, une méthode de mise à l'échelle de la longueur de séquence appliquée lors du pré-entraînement continu, permettant aux backbones Transformer existants de s'améliorer sans réentraînement coûteux ni modifications architecturales. L'approche étend chaque token en n flux avec des tables d'embedding indépendantes et utilise Stream-Factorized Attention pour réduire les coûts computationnels de quadratique à approximativement linéaire par rapport à n.

  • Les modèles WeLM-HD4-80B et WeLM-HD4-617B ont été entraînés avec n=4, surpassant les bases non-HD correspondantes.
  • Hidden Decoding est la première méthode de mise à l'échelle de la longueur de séquence démontrée à l'échelle MoE 100B+.
  • Les gains de performance augmentent à mesure que le facteur d'expansion n augmente, confirmant qu'il s'agit d'une voie de mise à l'échelle pratique pour les LLM de pointe avec un backbone fixe.