Tim Qwen telah memperkenalkan HydraHead, sebuah arsitektur jaringan saraf baru yang menghbridasi Full Attention (FA) dan Linear Attention (LA) sepanjang sumbu kepala untuk mengatasi hambatan kompleksitas kuadratik dalam pemrosesan konteks panjang.
- Desain ini memanfaatkan heterogenitas fungsional tingkat kepala, menggunakan strategi pemilihan berbasis interpretabilitas untuk mempertahankan FA hanya pada kepala yang kritis untuk pengambilan informasi.
- Modul fusi yang dinormalisasi skala menjembatani kesenjangan distribusi antara keluaran kepala FA dan LA.
- Dilatih hanya dengan 15B token, HydraHead mencapai peningkatan lebih dari 69% dibandingkan baseline pada panjang konteks 512K.
- Performa konteks panjangnya setara dengan hibrida lapis demi lapis rasio 3:1 pada rasio LA terhadap FA 7:1 sambil mempertahankan kemampuan penalaran umum yang kuat.
Pendekatan ini menyoroti potensi penskalaan yang signifikan dari hibridisasi tingkat kepala, memungkinkan model mendekati kinerja Qwen3.5, yang memiliki panjang konteks asli 256K.