हाल के कार्य ने सुपर वेट्स को ऐसे व्यक्तिगत पैरामीटर के रूप में पहचाना है जिनकी हटाने से मॉडल का प्रदर्शन कई गुना खराब हो जाता है, लेकिन यह अध्ययन दिखाता है कि इन विशिष्ट पैरामीटरों को ट्रेन करना असफल रहता है। OLMo-1B और OLMo-7B पर सुपर वेट्स को अलग से ट्रेन करने से सटीकता यादृच्छिक अनुमान के स्तर तक गिर जाती है, भले ही 36K पैरामीटर तक के स्थानीय पड़ोस का विस्तार किया जाए।
- अलग सुपर वेट्स को ट्रेन करने से प्रदर्शन में ध्वंस होता है, जबकि समान संख्या में यादृच्छिक रूप से चुने गए स्थानों को ट्रेन करने से बेसलाइन पर सुधार होता है।
- Vanilla LoRA केवल 0.16% पैरामीटरों के साथ सफलतापूर्वक काम करता है, कम रैंक संरचना के माध्यम से एटेंशन वेट मैट्रिक्स में प्रत्येक स्थान को अपडेट करके।
- down_proj परतों पर समान कम रैंक अपडेट लागू करना भी सफल होता है, जबकि सुपर वेट निर्देशांक पर LoRA अपडेट को बांधना यादृच्छिक अनुमान से सांख्यिकीय रूप से अविभेद्य परिणाम देता है।
इन निष्कर्षों से स्थापित होता है कि पैरामीटर का महत्व इसके अलग से ट्रेनेबल होने का संकेत नहीं देता और प्रभावी फाइन-ट्यूनिंग पूरी परतों पर संरचित विघटन पर निर्भर करता है, न कि व्यक्तिगत रूप से महत्वपूर्ण वेट्स को लक्षित करने पर।