Makalah ini mengusulkan metode pemangkasan terstruktur yang ditingkatkan untuk model bahasa besar yang mengadaptasi Adaptive Feature Retention (AFR) untuk mengatasi tantangan dalam skor pemangkasan heterogen, hilangnya informasi tanda, dan pengaruh outlier.
Pendekatan ini menggabungkan transformasi pangkat untuk penyesuaian distribusi nonlinier, agregasi skor pelestarian tanda, dan penghapusan outlier berbasis persentil. Eksperimen pada Llama-3-8B, Vicuna-v1.5-13B, dan LLaVA-v1.5-13B menunjukkan bahwa metode ini mempertahankan akurasi yang sebanding dengan pemangkasan tidak terstruktur sambil mencapai percepatan inferensi yang praktis.
Para penulis menganggap ini penting karena memungkinkan pemangkasan terstruktur untuk mempertahankan manfaat akurasi dari teknik tidak terstruktur sambil memberikan peningkatan efisiensi inferensi yang melekat pada sparsity terstruktur.