Авторы предлагают PALS (Percentile-Aware Layerwise Sparsity), метод однократного прунинга, который настраивает послойную разреженность на основе 99-го перцентиля величин активаций, с ограничением в ±5% вокруг целевого соотношения. Этот подход устраняет ограничение существующих методов, таких как Wanda и SparseGPT, которые применяют равномерные коэффициенты разрежности ко всем слоям.

  • На LLaMA-2-7B при 50% разреженности PALS достигает перплексии WikiText-2 равной 10.96, по сравнению с 12.92 для равномерного Wanda (среднее за 9 запусков, p < 0.001).
  • Преимущество зависит от архитектуры: LLaMA-3-8B показывает незначительные улучшения, а Mistral-7B — никаких.
  • Градиентное распределение дает результаты хуже случайных, что предполагает, что величина градиента не предсказывает влияние дискретного удаления весов.
  • PALS добавляет пренебрежимо малые затраты в конвейер прунинга и не требует дообучения.