PALS menyesuaikan sparsity per-layer untuk pruning LLM berdasarkan magnitudo aktivasi

Para penulis mengusulkan PALS (Percentile-Aware Layerwise Sparsity), sebuah metode pruning satu-saat yang menyesuaikan sparsity per-layer berdasarkan persentil ke-99 dari magnitudo aktivasi, dibatasi ±5% di sekitar rasio target. Pendekatan ini mengatasi keterbatasan metode seperti Wanda dan SparseGPT, yang menerapkan rasio sparsity seragam terlepas dari pentingnya layer.

• Pada LLaMA-2-7B dengan sparsity 50%, PALS mencapai perplexity WikiText-2 sebesar 10.96, dibandingkan dengan 12.92 untuk Wanda seragam (rata-rata dari 9 run, p < 0.001).
• Manfaatnya bergantung pada arsitektur: LLaMA-3-8B menunjukkan peningkatan marginal dan Mistral-7B tidak menunjukkan peningkatan.
• Alokasi berbasis gradien menghasilkan hasil yang lebih buruk daripada acak, menunjukkan bahwa magnitudo gradien tidak memprediksi dampak penghapusan bobot diskrit.

PALS menambahkan biaya yang dapat diabaikan ke pipeline pruning dan tidak memerlukan fine-tuning.