يقترح المؤلفون طريقة PALS (Percentile-Aware Layerwise Sparsity)، وهي طريقة تقليم لمرة واحدة تعدل كثافة التجزئة لكل طبقة بناءً على النسبة المئوية التاسعة والتسعين لحجم التنشيط، ومقيدة بـ ±5% حول النسبة المستهدفة. يعالج هذا النهج قيود الطرق الحالية مثل Wanda وSparseGPT، التي تطبق نسب تجزئة موحدة عبر جميع الطبقات.
- على LLaMA-2-7B بكثافة تجزئة 50٪، حقق PALS التباسًا (perplexity) قدره 10.96 في WikiText-2، مقارنة بـ 12.92 لـ Wanda الموحدة (متوسط عبر 9 تشغيلات، p < 0.001).
- الفائدة تعتمد على البنية: يُظهر LLaMA-3-8B مكاسب هامشية ولا يُظهر Mistral-7B أي مكاسب.
- ينتج التخصيم المستند إلى التدرجات نتائج أسوأ من العشوائية، مما يشير إلى أن حجم التدرج لا يتنبأ بتأثير إزالة الأوزان المنفصلة.
- يضيف PALS تكلفة ضئيلة جدًا إلى خط أنابيب التقليم ولا يتطلب ضبطًا دقيقًا (fine-tuning).