Qwen 팀은 긴 컨텍스트 처리의 이차 복잡성 병목 현상을 해결하기 위해 Full Attention (FA) 과 Linear Attention (LA) 를 헤드 축에서 하이브리드화하는 새로운 신경망 아키텍처인 HydraHead 를 발표했습니다.

  • 이 설계는 헤드 레벨 기능적 이질성을 활용하여, 해석 가능성 기반 선택 전략을 통해 검색에 중요한 헤드에만 FA 를 유지합니다.
  • 스케일 정규화 융합 모듈은 FA 와 LA 헤드 출력 간의 분포 격차를 조정합니다.
  • 15B 토큰만으로 훈련된 HydraHead 는 512K 컨텍스트 길이에서 베이스라인 대비 69% 이상의 개선을 달성했습니다.
  • 7:1 의 LA 대 FA 비율로 레이어별 하이브리드(3:1) 의 긴 컨텍스트 성능에 필적하면서도 강력한 일반 추론 능력을 유지합니다.

이 접근 방식은 헤드 레벨 하이브리드화의 상당한 확장 가능성을 강조하며, 네이티브 컨텍스트 길이 256K 를 가진 Qwen3.5 의 성능에 근접할 수 있게 합니다.