लेखकों ने PALS (Percentile-Aware Layerwise Sparsity) का प्रस्ताव दिया है, जो एक वन-शॉट प्रuning विधि है जो सक्रियता परिमाण के 99वें परसेंटाइल के आधार पर प्रति-परत विरलता को समायोजित करती है, लक्ष्य अनुपात के चारों ओर ±5% तक सीमित। यह दृष्टिकोण Wanda और SparseGPT जैसे तरीकों की सीमा को संबोधित करता है, जो परत के महत्व से स्वतंत्र रूप से समान विरलता अनुपात लागू करते हैं।
- 50% विरलता पर LLaMA-2-7B में, PALS ने WikiText-2 प्लेक्सिटी 10.96 हासिल की, जबकि समान Wanda के लिए 12.92 था (9 रन पर माध्य, p < 0.001)।
- लाभ आर्किटेक्चर-निर्भर है: LLaMA-3-8B में सीमित लाभ दिखाता है और Mistral-7B में कोई नहीं दिखाता है।
- ग्रेडिएंट-आधारित आवंटन यादृच्छिक से बदतर परिणाम देता है, जो सुझाव देता है कि ग्रेडिएंट परिमाण वजन के डिस्क्रीट हटाने के प्रभाव की भविष्यवाणी नहीं करता है।
PALS प्रuning पाइपलाइन में नगण्य लागत जोड़ता है और फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।