Pesquisadores propõem o Hidden Decoding, um método de escalonamento por comprimento de sequência aplicado durante o pré-treinamento contínuo que permite que backbones Transformer existentes melhorem sem retreinamento custoso ou mudanças arquiteturais. A abordagem expande cada token em n fluxos com tabelas de embedding independentes e utiliza Stream-Factorized Attention para reduzir os custos computacionais de quadráticos para aproximadamente lineares em relação a n.

  • Os modelos WeLM-HD4-80B e WeLM-HD4-617B foram treinados com n=4, superando as linhas de base não-HD correspondentes.
  • Hidden Decoding é o primeiro método de escalonamento por comprimento de sequência demonstrado na escala MoE de 100B+.
  • Os ganhos de desempenho aumentam à medida que o fator de expansão n cresce, confirmando-o como um caminho prático de escalonamento com backbone fixo para LLMs de ponta.