A equipe Qwen apresentou o HydraHead, uma nova arquitetura de rede neural que hibridiza a Atenção Completa (FA) e a Atenção Linear (LA) ao longo do eixo das cabeças para abordar o gargalo de complexidade quadrática no processamento de contexto longo.
- O design aproveita a heterogeneidade funcional em nível de cabeça, usando uma estratégia de seleção orientada por interpretabilidade para preservar FA apenas para as cabeças críticas para recuperação.
- Um módulo de fusão normalizado por escala reconcilia a lacuna distribucional entre as saídas das cabeças FA e LA.
- Treinado com apenas 15B de tokens, o HydraHead alcança uma melhoria superior a 69% em relação à linha de base em um comprimento de contexto de 512K.
- Ele iguala o desempenho de contexto longo de um híbrido camada por camada 3:1 com uma razão LA para FA de 7:1, mantendo fortes capacidades de raciocínio geral.
Esta abordagem destaca o potencial significativo de escalonamento da hibridização em nível de cabeça, permitindo que o modelo se aproxime do desempenho do Qwen3.5, que possui um comprimento de contexto nativo de 256K.