Исследователи предлагают Скрытое декодирование (Hidden Decoding), метод масштабирования по длине последовательности, применяемый при продолжении предобучения, который позволяет существующим трансформерным бэкбонам улучшаться без дорогостоящего переобучения или изменений архитектуры. Подход расширяет каждый токен в n потоков с независимыми таблицами эмбеддингов и использует Stream-Factorized Attention для снижения вычислительной сложности с квадратичной до примерно линейной по n.

  • Модели WeLM-HD4-80B и WeLM-HD4-617B были обучены при n=4, показав улучшение по сравнению с сопоставленными базовыми моделями без HD.
  • Hidden Decoding — первый продемонстрированный метод масштабирования по длине последовательности на масштабе MoE 100B+.
  • Прирост производительности возрастает по мере увеличения фактора расширения n, что подтверждает его как практический путь масштабирования с фиксированным бэкбонном для LLM передового уровня.