लेखकों ने PALS (Percentile-Aware Layerwise Sparsity) प्रस्तावित किया है, जो एक वन-शॉट प्रuning विधि है जो सक्रियता परिमाण के 99वें प्रतिशत के आधार पर परत-वार विरलता को समायोजित करती है, लक्ष्य अनुपात के चारों ओर ±5% तक सीमित। यह दृष्टिकोण मौजूदा विधियों जैसे Wanda और SparseGPT की सीमा को संबोधित करता है, जो सभी परतों में एकसमान विरलता अनुपात लागू करते हैं।
- 50% विरलता पर LLaMA-2-7B पर, PALS ने WikiText-2 perplexity 10.96 हासिल की, जबकि समान Wanda के लिए 12.92 था (9 रनों पर माध्य, p < 0.001)।
- लाभ आर्किटेक्चर-निर्भर है: LLaMA-3-8B में सीमित लाभ दिखाई देता है और Mistral-7B में कोई नहीं दिखाई देता।
- ग्रेडिएंट-आधारित आवंटन यादृच्छिक से बदतर परिणाम देता है, जो सुझाव देता है कि ग्रेडिएंट परिमाण विचलित वजन हटाने के प्रभाव की भविष्यवाणी नहीं करता।
- PALS प्रuning पाइपलाइन में नगण्य लागत जोड़ता है और फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।