PALS 根据激活幅度调整 LLM 剪枝的逐层稀疏度

作者提出了 PALS（Percentile-Aware Layerwise Sparsity），这是一种一次性剪枝方法，它基于激活幅度的第 99 百分位数调整逐层稀疏度，并将目标比例限制在 ±5% 范围内。这种方法解决了 Wanda 和 SparseGPT 等方法的局限性，这些方法无论层的重要性如何都应用均匀的稀疏比例。

• 在 LLaMA-2-7B 上以 50% 稀疏度运行时，PALS 实现了 WikiText-2 困惑度为 10.96，而均匀 Wanda 为 12.92（9 次运行的平均值，p < 0.001）。
• 收益取决于架构：LLaMA-3-8B 显示出边际增益，而 Mistral-7B 则没有。
• 基于梯度的分配产生的结果比随机更差，表明梯度幅度无法预测离散权重移除的影响。

PALS 为剪枝流水线增加了可忽略不计的成本，且不需要微调。