El equipo de Qwen ha presentado HydraHead, una nueva arquitectura de red neuronal que hibrida la Atención Completa (FA) y la Atención Lineal (LA) a lo largo del eje de cabezas para abordar el cuello de botella de complejidad cuadrática en el procesamiento de contexto largo.
- El diseño aprovecha la heterogeneidad funcional a nivel de cabeza, utilizando una estrategia de selección impulsada por la interpretabilidad para preservar FA solo para las cabezas críticas para la recuperación.
- Un módulo de fusión normalizado por escala reconcilia la brecha distribucional entre las salidas de las cabezas FA y LA.
- Entrenado con solo 15B de tokens, HydraHead logra una mejora superior al 69% sobre la línea base a una longitud de contexto de 512K.
- Igualua el rendimiento de contexto largo de un híbrido capa por capa 3:1 con una relación LA a FA de 7:1 mientras mantiene fuertes capacidades de razonamiento general.
Este enfoque destaca el potencial de escalado significativo de la hibridación a nivel de cabeza, permitiendo que el modelo se acerque al rendimiento de Qwen3.5, que tiene una longitud de contexto nativa de 256K.