著者らは、PALS（Percentile-Aware Layerwise Sparsity）を提案した。これは、ターゲット比率の±5%に制限された活性化の大きさの第99百分位数に基づいて層ごとのスパシティを調整するワンショットプルーニング手法である。このアプローチは、層の重要度に関係なく均一なスパシティ比率を適用するWandaやSparseGPTなどの手法の限界に対処する。

  • LLaMA-2-7Bで50%のスパシティにおいて、PALSはWikiText-2のパージェクシティーとして10.96を達成した。一方、均一なWanda（9回のランの平均、p < 0.001）は12.92であった。
  • この利点はアーキテクチャに依存する：LLaMA-3-8Bではわずかな改善が見られるが、Mistral-7Bでは改善は見られない。
  • グラデーションに基づく割り当てはランダムよりも悪い結果を生み出し、グラデーションの大きさが離散重みの除去の影響を予測しないことを示唆している。

PALSはプルーニングパイプラインに無視できるコストしか追加せず、ファインチューニングを必要としない。