著者は4つのモデルにわたる勾配部分空間の重なりを測定し、クエリと値の射影を対象とする標準的なLoRAのデフォルトを評価した。この分析は、新しいタスクでの精度を最大化するのではなく、以前の能力を保持することが目標の場合、このデフォルトが最適ではない可能性を示している。

  • コードから文章へ微調整されたLlama-3-8Bにおいて、HumanEvalの保持率はq,vデフォルトでは54.1%だったが、v_projを完全に除外した測定された配置を使用することで75.6%に改善した。
  • モジュール重要度のタイプ順序はLlama-3-8B、Mistral-7B、Qwen2.5-7B、TinyLlama-1.1Bで再現され、o_projが最初でv_projが最後または欠如している。
  • モジュールのタイプと層の深さに基づく安価なルールは良好な順位付けを行い（AUROC 0.83から0.92）、勾配ベースの選択とは約3分の1異なるモジュールのセットを選択する。

著者はこれらの測定を再現するためのColabノートブックとGitHubリポジトリを提供しており、実装がAGPLライセンスであることを注記している。