शोधकर्ताओं ने जाँच की कि प्रीट्रेन किए गए GPT-2-शैली के मॉडलों में दोहराए जाने वाले स्पेक्ट्रल पैटर्न नए प्रीट्रेनिंग रनों के लिए एक प्रारंभीकरण संकेत के रूप में कार्य कर सकते हैं या नहीं। अध्ययन ने परतों और ट्रान्सफॉर्मर सब-कंपोनेंट्स across फ्रोबेनियस नॉर्म और प्रभावी-रैंक एन्ट्रॉपी को मापने के लिए ग्यारह चेकपॉइंट्स का विश्लेषण किया।
- चेकपॉइंट्स ने साझा गहराई रुझानों को प्रदर्शित किया, जिसमें रेसिड्यूअल-राइटिंग मैट्रिक्स में स्केल में वृद्धि और मजबूत स्पेक्ट्रल एकाग्रता शामिल है।
- प्रीट्रेन किए गए मॉडलों के घटक-वार परिमाण और स्पेक्ट्रल प्रोफाइल की नकल करने के लिए प्रारंभीकरण योजनाएं बनाई गईं।
- मूल्यांकन परिणामों ने मानक वजन प्रारंभीकरण विधियों की तुलना में इन इनिशियलाइज़र्स से कोई प्रदर्शन लाभ नहीं दिखाया।
- प्रीट्रेन-वजन पुन: उपयोग प्रतिस्पर्धी बना रहा, जबकि खुरदरा स्पेक्ट्रल मिलान एक अनुकूलन रणनीति के रूप में अविश्वसनीय साबित हुआ।
निष्कर्ष सुझाते हैं कि जबकि प्रीट्रेन स्पेक्ट्रा मॉडल संरचना के लिए उपयोगी निदान हैं, प्रभावी पुन: उपयोग को केवल घटक-वार स्केल और सिंगुलर-वैल्यू आकार से अधिक समृद्ध जानकारी को बनाए रखने की आवश्यकता है।