قام المؤلف بقياس تداخل فضاء التدرج عبر أربعة نماذج لتقييم الإعداد الافتراضي القياسي لـ LoRA الذي يستهدف إسقاطات الاستعلام والقيمة. يشير التحليل إلى أن هذا الإعداد قد يكون دون الأمثل عندما يكون الهدف هو الاحتفاظ بالقدرات السابقة بدلاً من تعظيم الدقة في مهمة جديدة.

  • على Llama-3-8B المُعدّل بدقة للترجمة من الكود إلى النثر، تحسّن احتفاظ HumanEval من 54.1% مع الإعداد الافتراضي لـ q و v إلى 75.6% باستخدام وضع مقاس استبعد v_proj تماماً.
  • يتكرر ترتيب أنواع أهمية الوحدات عبر Llama-3-8B و Mistral-7B و Qwen2.5-7B و TinyLlama-1.1B، حيث يأتي o_proj أولاً و v_proj أخيراً أو غائباً.
  • قاعدة رخيصة تعتمد على نوع الوحدة وعمق الطبقة تصنف جيداً (AUROC من 0.83 إلى 0.92) لكنها تختار مجموعة مختلفة من الوحدات، تختلف بحوالي ثلث عن الاختيار القائم على التدرج.

يوفر المؤلف دفتر ملاحظات Colab ومستودع GitHub لإعادة إنتاج هذه القياسات، مع الإشارة إلى أن التنفيذ مرخص بموجب AGPL.