PALS ajuste la sparsité par couche pour l'élagage des LLM en utilisant les percentiles d'activation

Les auteurs proposent PALS (Percentile-Aware Layerwise Sparsity), une méthode d'élagage en un seul passage qui ajuste la sparsité par couche en fonction du 99e percentile des magnitudes d'activation, bornée à ±5% autour du ratio cible. Cette approche comble les limites des méthodes existantes comme Wanda et SparseGPT, qui appliquent des ratios de sparsité uniformes sur toutes les couches.

• Sur LLaMA-2-7B avec une sparsité de 50%, PALS atteint une perplexité WikiText-2 de 10,96, contre 12,92 pour Wanda uniforme (moyenne sur 9 exécutions, p < 0,001).
• L'avantage dépend de l'architecture : LLaMA-3-8B montre des gains marginaux et Mistral-7B n'en montre aucun.
• L'allocation basée sur les gradients produit des résultats pires que le hasard, suggérant que la magnitude du gradient ne prédit pas l'impact de la suppression discrète des poids.
• PALS ajoute un coût négligeable au pipeline d'élagage et ne nécessite aucun affinage (fine-tuning).