Qwenチームは、長いコンテキスト処理の二次計算量ボトルネックに対処するため、Full Attention (FA) と Linear Attention (LA) をヘッド軸上でハイブリダイズする新しいニューラルネットワークアーキテクチャであるHydraHeadを発表しました。

  • この設計は、ヘッドレベルの機能的異方性を活用し、解釈可能性に基づく選択戦略により、検索に重要なヘッドのみをFAとして保持します。
  • スケール正規化された融合モジュールが、FAとLAのヘッド出力間の分布ギャップを調整します。
  • 15Bトークンのみで訓練されたHydraHeadは、512Kのコンテキスト長においてベースラインに対して69%以上の改善を実現しました。
  • 7:1のLA対FA比で3:1のレイヤーワイズハイブリッドの長いコンテキスト性能に匹敵しつつ、強力な汎用推論能力を維持しています。

このアプローチは、ヘッドレベルのハイブリダイゼーションが持つ大きなスケーリング可能性を示しており、ネイティブなコンテキスト長256Kを持つQwen3.5のパフォーマンスに近づけることを可能にします。