著者らは、活性化の大きさの第99パーセンタイルに基づいて層ごとのスパシティを調整し、目標比率の±5%に制限するワンショットプルーニング手法であるPALS（Percentile-Aware Layerwise Sparsity）を提案する。このアプローチは、すべての層で一様なスパシティ比率を適用するWandaやSparseGPTといった既存の方法の限界に対処する。

  • 50%のスパシティにおけるLLaMA-2-7Bで、PALSはWikiText-2のパラプレキシティ10.96を達成し、一様なWanda（9回のランの平均、p < 0.001）の12.92と比較して優れている。
  • この利点はアーキテクチャに依存する：LLaMA-3-8Bではわずかな改善が見られ、Mistral-7Bでは改善は見られない。
  • グラデーションベースのアロケーションはランダムよりも悪い結果を生み出し、グラデーションの大きさが離散重みの除去の影響を予測できないことを示唆している。
  • PALSはプルーニングパイプラインに無視できるコストしか追加せず、ファインチューニングを必要としない。