लेखक ने क्वेरी और वैल्यू प्रोजेक्शन को टार्गेट करने वाले मानक लोरा डिफ़ॉल्ट का मूल्यांकन करने के लिए चार मॉडलों में ग्रेडिएंट सबस्पेस ओवरलैप को मापा है। विश्लेषण संकेत देता है कि जब लक्ष्य नए कार्य पर सटीकता को अधिकतम करना नहीं बल्कि पिछली क्षमताओं को बनाए रखना है, तो यह डिफ़ॉल्ट अनुकूलित नहीं हो सकता है।
- कोड-टू-प्रोज़ के लिए फाइन-ट्यून किए गए Llama-3-8B पर, HumanEval रिटेंशन q,v डिफ़ॉल्ट के साथ 54.1% से बढ़कर v_proj को पूरी तरह से छोड़ने वाले मापित प्लेसमेंट का उपयोग करके 75.6% हो गया।
- मॉड्यूल महत्वता के प्रकार क्रम Llama-3-8B, Mistral-7B, Qwen2.5-7B और TinyLlama-1.1B में दोहराया जाता है, जिसमें o_proj पहले और v_proj अंत में या अनुपस्थित होता है।
- मॉड्यूल प्रकार और परत गहराई पर आधारित एक सस्ता नियम अच्छी तरह रैंक करता है (AUROC 0.83 से 0.92) लेकिन मॉड्यूल का एक अलग सेट चुनता है, जो ग्रेडिएंट-आधारित चयन से लगभग एक तिहाई भिन्न होता है।
लेखक इन मापों को पुन: उत्पन्न करने के लिए एक Colab नोटबुक और GitHub रिपॉजिटरी प्रदान करते हैं, यह नोट करते हुए कि कार्यान्वयन AGPL-लाइसेंस के तहत है।