L'équipe Qwen a introduit HydraHead, une nouvelle architecture de réseau neuronal qui hybridise l'Attention Complète (FA) et l'Attention Linéaire (LA) le long de l'axe des têtes pour résoudre le goulot d'étranglement de complexité quadratique du traitement de contexte long.
- La conception exploite l'hétérogénéité fonctionnelle au niveau des têtes, utilisant une stratégie de sélection guidée par l'interprétabilité pour ne conserver la FA que pour les têtes critiques pour la récupération.
- Un module de fusion normalisé à l'échelle réconcilie l'écart distributionnel entre les sorties des têtes FA et LA.
- Entraîné sur seulement 15B tokens, HydraHead atteint une amélioration de plus de 69 % par rapport à la ligne de base à une longueur de contexte de 512K.
- Il égale les performances de contexte long d'un hybride couche par couche 3:1 avec un ratio LA vers FA de 7:1 tout en maintenant de fortes capacités de raisonnement général.
Cette approche met en évidence le potentiel de mise à l'échelle significatif de l'hybridation au niveau des têtes, permettant au modèle d'approcher les performances de Qwen3.5, qui possède une longueur de contexte native de 256K.