FlashMorph Transformer मॉडलों को हाइब्रिड आर्किटेक्चर में बदलने का एक नवीन विधि है जो पूर्ण-ध्यान सटीकता और रैखिक-ध्यान दक्षता के बीच संतुलन बनाती है, परत चयन को बजट-सीमित उपसमुच्चय समस्या के रूप में अनुकूलित करके। यह दृष्टिकोण समानांतर ध्यान शाखाओं के साथ एक रूपांतरणीय मॉडल निर्मित करता है और इष्टतम विन्यास निर्धारित करने के लिए संश्लेषित डेटा पर परत-वार गेट्स का संयुक्त अनुकूलन करता है।
- FlashMorph हाइब्रिड परत चयन को एक बजट-सीमित उपसमुच्चय अनुकूलन समस्या के रूप में सूत्रित करता है, न कि हेरिस्टिक रणनीतियों पर निर्भर करता है।
- यह प्रत्येक पूर्ण-ध्यान परत को एक परिवर्तित रैखिक-ध्यान शाखा से सुसज्जित करता है और मॉडल वजन को फ्रीज़ करते हुए परत-वार गेट्स का अनुकूलन करता है।
- एक रैखिकीकरण नियमिता (regularization) गेट अनुकूलन प्रक्रिया के दौरान दक्षता के लिए रैखिक ध्यान पर निर्भरता को प्रोत्साहित करती है।
- सीखे गए गेट्स को पूर्व-निर्धारित पूर्ण-ध्यान बजट के तहत विविक्त (discretized) किया जाता है ताकि अंतिम हाइब्रिड आर्किटेक्चर का उदाहरण बनाया जा सके।
- यह विधि उदाहरण निर्माण के बाद मानक लॉगिट्स डिस्टिलेशन और लंबे-संदर्भ फाइन-ट्यूनिंग का उपयोग करती है।
FlashMorph अधिक प्रभावी हाइब्रिड विन्यास खोजता है जो मजबूत लंबे-संदर्भ रिकॉल और सामान्य बेंचमार्क प्रदर्शन को बनाए रखते हुए, मौजूदा विधियों की तुलना में परत चयन लागतों को काफी कम करता है।