Команда Qwen представила HydraHead, новую архитектуру нейронной сети, которая объединяет полное внимание (FA) и линейное внимание (LA) вдоль оси голов для решения проблемы квадратичной сложности при обработке длинного контекста.

  • Конструкция использует функциональную гетерогенность на уровне голов, применяя стратегию выбора, основанную на интерпретируемости, чтобы сохранить FA только для голов, критически важных для извлечения информации.
  • Модуль слияния с масштабированием по норме устраняет разрыв в распределении между выходами голов FA и LA.
  • Обученная всего на 15B токенов, HydraHead демонстрирует улучшение более чем на 69% по сравнению с базовой моделью при длине контекста 512K.
  • Она достигает производительности гибридной модели с соотношением слоев 3:1 при соотношении LA к FA 7:1, сохраняя сильные способности к общему рассуждению.

Этот подход подчеркивает значительный потенциал масштабирования гибридизации на уровне голов, позволяя модели приблизиться к производительности Qwen3.5, которая имеет нативную длину контекста 256K.