研究者らは、Calibrationパスから計算されたWandaスタイルの活性化重み付きmagnitudeスコアを用いて小さな学習可能サポートを固定するスパースパラメータ効率的ファインチューニング手法であるSuperを提案した。また彼らは、単純な予算分割ルールを通じて一致した学習可能パラメータ予算を維持しながら、このスパース更新とLoRAを組み合わせたハイブリッドアダプターであるSupraも導入した。

  • Superは、Wandaスタイルの活性化重み付きmagnitudeスコアによって選択された固定サポートを使用する。
  • Supraは、予算分割ルールを用いてスパース更新とLoRAを組み合わせる。
  • Llama-3.2-1BおよびMeta-Llama-3-8B上のMath17K実験において、Super/Supra変種はテストされたスケジュール選択アダプター構成の中で最高の平均精度を達成した。
  • PaFiスタイルのmagnitudeのみサポートが、トレーニング不要のスパースベースラインとして機能した。

結果は、単純なプルーニングにインスピレーションを得た順序付けが、特に低ランクアダプターと組み合わせる場合、PEFTにとって有用な固定スパースサポートを提供できることを示唆している。