PALS ajuste la parcimonie par couche pour l'élagage des LLM en fonction de l'amplitude des activations

Les auteurs proposent PALS (Percentile-Aware Layerwise Sparsity), une méthode d'élagage en un seul passage qui ajuste la parcimonie par couche en fonction du 99e centile de l'amplitude des activations, borné à ±5% autour du ratio cible. Cette approche comble les limites des méthodes comme Wanda et SparseGPT, qui appliquent des ratios de parcimonie uniformes indépendamment de l'importance des couches.

• Sur LLaMA-2-7B avec une parcimonie de 50%, PALS atteint une perplexité WikiText-2 de 10.96, contre 12.92 pour Wanda uniforme (moyenne sur 9 exécutions, p < 0.001).
• L'avantage dépend de l'architecture : LLaMA-3-8B montre des gains marginaux et Mistral-7B n'en montre aucun.
• L'allocation basée sur les gradients produit des résultats pires que le hasard, suggérant que l'amplitude du gradient ne prédit pas l'impact de la suppression discrète des poids.

PALS ajoute un coût négligeable au pipeline d'élagage et ne nécessite aucun affinage (fine-tuning).