قدم فريق Qwen نموذج HydraHead، وهو بنية شبكة عصبية جديدة تدمج الانتباه الكامل (FA) مع الانتباه الخطي (LA) عبر محور الرؤوس لمعالجة عنق الزجاجة التعقيدي التربيعي لمعالجة السياق الطويل.
- يستفيد التصميم من عدم التجانس الوظيفي على مستوى الرؤوس، باستخدام استراتيجية اختيار مدفوعة بالتفسير للحفاظ على FA فقط للرؤوس الحرجة للاسترجاع.
- تقوم وحدة دمج طبيعية المقياس بمواءمة الفجوة التوزيعية بين مخرجات رؤوس FA و LA.
- تم تدريب HydraHead على 15B توكن فقط، محققاً تحسناً يزيد عن 69% مقارنة بخط الأساس عند طول سياق يبلغ 512K.
- يتفوق في أداء السياق الطويل مع نسبة LA إلى FA تبلغ 7:1، مما يعادل أداء النموذج الهجين الطبقي بنسبة 3:1 مع الحفاظ على قدرات استنتاجية عامة قوية.
- يسلط هذا النهج الضوء على إمكانات التوسع الكبيرة للدمج على مستوى الرؤوس، مما يسمح للنموذج بالاقتراب من أداء Qwen3.5، الذي يتمتع بطول سياق أصلي يبلغ 256K.