PALS ajusta a esparsidade por camada para poda de LLM usando percentis de ativação

Os autores propõem o PALS (Percentile-Aware Layerwise Sparsity), um método de poda em um único passo que ajusta a esparsidade por camada com base no 99º percentil das magnitudes de ativação, limitado a ±5% em torno da proporção alvo. Esta abordagem aborda a limitação de métodos existentes como Wanda e SparseGPT, que aplicam proporções de esparsidade uniformes em todas as camadas.

• No LLaMA-2-7B com 50% de esparsidade, o PALS alcança uma perplexidade do WikiText-2 de 10.96, comparado a 12.92 para o Wanda uniforme (média sobre 9 execuções, p < 0.001).
• O benefício depende da arquitetura: LLaMA-3-8B mostra ganhos marginais e Mistral-7B não mostra nenhum.
• A alocação baseada em gradiente produz resultados piores que aleatórios, sugerindo que a magnitude do gradiente não prevê o impacto da remoção discreta de pesos.
• O PALS adiciona custo insignificante ao pipeline de poda e não requer ajuste fino.