शोधकर्ताओं ने Super प्रस्तावित किया, एक विरल पैरामीटर-कुशल फाइन-ट्यूनिंग विधि जो कैलिब्रेशन पास से गणना किए गए Wanda-शैली सक्रियता-भारित परिमाण स्कोर का उपयोग करके एक छोटा ट्रेनेबल सपोर्ट स्थिर करती है। उन्होंने Supra भी पेश किया, एक हाइब्रिड एडाप्टर जो इस विरल अपडेट को LoRA के साथ संयोजित करता है और एक सरल बजट-विभाजन नियम के माध्यम से मेल खाने वाले ट्रेनेबल-पैरामीटर बजट को बनाए रखता है।
- Super Wanda-शैली सक्रियता-भारित परिमाण स्कोर द्वारा चयनित एक स्थिर सपोर्ट का उपयोग करता है।
- Supra एक बजट-विभाजन नियम का उपयोग करके विरल अपडेट को LoRA के साथ संयोजित करता है।
- Llama-3.2-1B और Meta-Llama-3-8B पर Math17K प्रयोगों में, Super/Supra वेरिएंट्स ने परीक्षण किए गए शेड्यूल-चयनित एडाप्टर कॉन्फ़िगरेशन में सबसे उच्च औसत सटीकता हासिल की।
- PaFi-शैली केवल-परिमाण सपोर्ट एक ट्रेनिंग-मुक्त विरल आधार के रूप में कार्य किया।
परिणाम सुझाव देते हैं कि प्रूनिंग से प्रेरित सरल क्रम PEFT के लिए उपयोगी स्थिर विरल सपोर्ट प्रदान कर सकते हैं, विशेष रूप से जब कम-रैंक एडाप्टर्स के साथ संयोजित किया जाता है।