PALS 使用激活百分位数调整 LLM 剪枝的逐层稀疏度

作者提出了 PALS（Percentile-Aware Layerwise Sparsity），这是一种一次性剪枝方法，它根据激活幅度的第 99 个百分位数调整逐层稀疏度，并限制在目标比例的 ±5% 范围内。这种方法解决了现有方法（如 Wanda 和 SparseGPT）在所有层上应用均匀稀疏比例的限制。

• 在 LLaMA-2-7B 的 50% 稀疏度下，PALS 实现了 WikiText-2 困惑度为 10.96，而均匀 Wanda 为 12.92（9 次运行的平均值，p < 0.001）。
• 收益取决于架构：LLaMA-3-8B 显示出边际增益，而 Mistral-7B 没有显示出任何增益。
• 基于梯度的分配产生的结果比随机分配更差，表明梯度幅度无法预测离散权重移除的影响。
• PALS 为剪枝流水线增加了可忽略不计的成本，且不需要微调。