Qwen团队推出了HydraHead，这是一种新型神经网络架构，沿头部轴融合全注意力（FA）和线性注意力（LA），以解决长上下文处理的二次复杂度瓶颈。

  • 该设计利用头部级的功能异质性，采用可解释性驱动的筛选策略，仅保留对检索至关重要的头部的FA。
  • 一个按尺度归一化的融合模块调和了FA和LA头部输出之间的分布差距。
  • 仅在15B个token上训练，HydraHead在512K上下文长度下相比基线提升了超过69%。
  • 它在7:1的LA到FA比例下，达到了3:1层混合的长上下文性能，同时保持了强大的通用推理能力。

这种方法凸显了头部级混合的巨大扩展潜力，使模型能够接近具有256K原生上下文长度的Qwen3.5的性能。