शोधकर्ता भारी-पूंछ स्वयं-सामान्यीकरण सिद्धांत से व्युत्पन्न स्पेक्ट्रल आकार-आधारित मेट्रिक्स का उपयोग करने का प्रस्ताव देते हैं ताकि बड़े भाषा मॉडलों को स्केल पर प्रबंधित और मात्रात्मक बनाने की चुनौतियों को संबोधित किया जा सके। यह दृष्टिकोण वजन अर्जित स्पेक्ट्रल घनत्व के आकार जानकारी का उपयोग एक संक्षिप्त साइनेचर के रूप में करता है जो प्री-ट्रेन्ड मॉडलों की अंतर्निहित विशेषताओं को पकड़ता है जबकि पोस्ट-ट्रेनिंग के दौरान मजबूत रहता है।
- मेट्रिक डेटा-मुक्त, कंप्यूटेशनली कुशल और स्केल-अपरिवर्तनीय है, जो व्यावहारिक बड़े-स्केल विश्लेषण को सक्षम बनाता है।
- प्रमुख ओपन-सोर्स LLM परिवारों के एक चुना हुआ कॉरपस का उपयोग मॉडलों और डाउनस्ट्रीम कार्यों के बीच स्पेक्ट्रल और नॉन-स्पेक्ट्रल मेट्रिक्स के लिए बेंचमार्क करने के लिए किया गया था।
- स्पेक्ट्रल साइनेचर मॉडल वंशावली को ट्रैक करने, समान मॉडलों का अनादेक्षित क्लस्टरिंग करने और मॉडल प्रदर्शन को मात्रात्मक बनाने का समर्थन करता है।
प्रस्तावित विधि व्यापक प्रदर्शन रुझानों के लिए एक सार्थक प्रतिनिधि प्रदान करती है, जो बड़े मॉडल संग्रहों के कुशल संगठन, तुलना और विश्लेषण को सक्षम बनाती है।