Los investigadores proponen Hidden Decoding, un método de escalado por longitud de secuencia aplicado durante el preentrenamiento continuo que permite que las arquitecturas Transformer existentes mejoren sin costosos reentrenamientos o cambios arquitectónicos. El enfoque expande cada token en n flujos con tablas de incrustación independientes y utiliza Stream-Factorized Attention para reducir los costos computacionales de cuadráticos a aproximadamente lineales respecto a n.

  • Los modelos WeLM-HD4-80B y WeLM-HD4-617B se entrenaron con n=4, mejorando a las líneas base no-HD comparables.
  • Hidden Decoding es el primer método de escalado por longitud de secuencia demostrado a escala MoE de 100B+.
  • Las ganancias de rendimiento aumentan a medida que el factor de expansión n crece, confirmando su viabilidad como una ruta práctica de escalado con backbone fijo para LLMs de vanguardia.