Qwen टीम ने HydraHead का परिचय दिया है, जो एक नवीनतम न्यूरल नेटवर्क आर्किटेक्चर है जो लंबे संदर्भ प्रसंस्करण की वर्ग जटिलता की बाधा को दूर करने के लिए हेड अक्ष पर पूर्ण एटेंशन (FA) और रैखिक एटेंशन (LA) को हाइब्रिडाइज़ करता है।
- डिज़ाइन हेड-लेवल कार्यात्मक विषमता का लाभ उठाता है, व्याख्या योग्यता-संचालित चयन रणनीति का उपयोग करके FA को केवल पुनर्प्राप्ति-क्रिटिकल हेड्स के लिए बनाए रखता है।
- एक स्केल-सामान्यीकृत फ्यूजन मॉड्यूल FA और LA हेड आउटपुट के बीच वितरण अंतराल को सुलझाता है।
- केवल 15B टोकन पर प्रशिक्षित, HydraHead 512K संदर्भ लंबाई पर बेसलाइन की तुलना में 69% से अधिक सुधार हासिल करता है।
- यह 7:1 LA-to-FA अनुपात के साथ एक 3:1 लेयर-वाइज हाइब्रिड की लंबे संदर्भ प्रदर्शन को मिलाता है जबकि मजबूत सामान्य तर्कशक्ति को बनाए रखता है।
यह दृष्टिकोण हेड-लेवल हाइब्रिडाइज़ेशन के महत्वपूर्ण स्केलिंग संभावना को उजागर करता है, जिससे मॉडल Qwen3.5 के प्रदर्शन के करीब पहुंच सकता है, जिसकी नेटिव संदर्भ लंबाई 256K है।