PALS menyesuaikan sparsity per-layer untuk pruning LLM menggunakan persentil aktivasi

Para penulis mengusulkan PALS (Percentile-Aware Layerwise Sparsity), sebuah metode pruning satu kali yang menyesuaikan sparsity per-layer berdasarkan persentil ke-99 dari magnitudo aktivasi, dibatasi ±5% di sekitar rasio target. Pendekatan ini mengatasi keterbatasan metode yang ada seperti Wanda dan SparseGPT, yang menerapkan rasio sparsity seragam di seluruh lapisan.

• Pada LLaMA-2-7B dengan sparsity 50%, PALS mencapai perplexity WikiText-2 sebesar 10,96, dibandingkan dengan 12,92 untuk Wanda seragam (rata-rata dari 9 run, p < 0,001).
• Manfaatnya bergantung pada arsitektur: LLaMA-3-8B menunjukkan peningkatan marginal dan Mistral-7B tidak menunjukkan peningkatan.
• Alokasi berbasis gradien menghasilkan hasil yang lebih buruk daripada acak, menunjukkan bahwa magnitudo gradien tidak memprediksi dampak penghapusan bobot diskrit.
• PALS menambahkan biaya yang dapat diabaikan ke pipeline pruning dan tidak memerlukan fine-tuning.