يقترح المؤلفون طريقة PALS (Percentile-Aware Layerwise Sparsity)، وهي طريقة قص لمرة واحدة تعدل كثافة كل طبقة بناءً على المئين التاسع والتسعين لمقادير التنشيط، ومقيدة بـ ±5% حول النسبة المستهدفة. يعالج هذا النهج قيود طرق مثل Wanda وSparseGPT، التي تطبق نسب كثافة موحدة بغض النظر عن أهمية الطبقة.

  • على LLaMA-2-7B بكثافة 50٪، حقق PALS التشتت (perplexity) WikiText-2 بقيمة 10.96، مقارنة بـ 12.92 لـ Wanda الموحد (متوسط عبر 9 تشغيلات، p < 0.001).
  • الفائدة تعتمد على البنية: يُظهر LLaMA-3-8B مكاسب هامشية ولا يُظهر Mistral-7B أي مكاسب.
  • ينتج التخصيب القائم على التدرج نتائج أسوأ من العشوائية، مما يشير إلى أن مقدار التدرج لا يتنبأ بتأثير إزالة الأوزان المنفصلة.

يضيف PALS تكلفة ضئيلة جدًا إلى خط أنابيب القص ولا يتطلب ضبطًا دقيقًا (fine-tuning).