研究人员提出了 Super，一种稀疏参数高效微调方法，它通过校准传递计算出的 Wanda 风格激活加权幅度分数来固定一个小的可训练支撑集。他们还引入了 Supra，这是一种混合适配器，将这种稀疏更新与 LoRA 相结合，同时通过简单的预算分割规则保持匹配的可训练参数预算。

  • Super 使用由 Wanda 风格激活加权幅度分数选择的固定支撑集。
  • Supra 使用预算分割规则将稀疏更新与 LoRA 相结合。
  • 在 Llama-3.2-1B 和 Meta-Llama-3-8B 上的 Math17K 实验中，Super/Supra 变体在测试的计划选择适配器配置中实现了最高的平均准确率。
  • PaFi 风格的仅幅度支撑集作为免训练的稀疏基线。

结果表明，受剪枝启发的简单排序可以为 PEFT 提供有用的固定稀疏支撑集，尤其是与低秩适配器结合时。