Penulis mengukur tumpang tindih subruang gradien pada empat model untuk mengevaluasi default LoRA standar yang menargetkan proyeksi kueri dan nilai. Analisis menunjukkan bahwa default ini mungkin tidak optimal ketika tujuannya adalah mempertahankan kemampuan sebelumnya daripada memaksimalkan akurasi pada tugas baru.

  • Pada Llama-3-8B yang di-fine-tune untuk kode ke prosa, retensi HumanEval meningkat dari 54,1% dengan default q,v menjadi 75,6% menggunakan penempatan terukur yang mengecualikan v_proj sepenuhnya.
  • Urutan tipe kepentingan modul direproduksi pada Llama-3-8B, Mistral-7B, Qwen2.5-7B, dan TinyLlama-1.1B, dengan o_proj pertama dan v_proj terakhir atau tidak ada.
  • Aturan murah berdasarkan tipe modul dan kedalaman lapisan memberikan peringkat yang baik (AUROC 0,83 hingga 0,92) tetapi memilih set modul yang berbeda, berbeda sekitar sepertiga dari pemilihan berbasis gradien.

Penulis menyediakan notebook Colab dan repositori GitHub untuk mereproduksi pengukuran ini, mencatat bahwa implementasinya berlisensi AGPL.