Cet article propose une méthode d'élagage structuré améliorée pour les grands modèles de langage qui adapte Adaptive Feature Retention (AFR) pour surmonter les défis liés aux scores d'élagage hétérogènes, à la perte d'information de signe et à l'influence des valeurs aberrantes.
L'approche combine une transformation de puissance pour l'alignement de distribution non linéaire, l'agrégation de scores préservant le signe et l'élimination des valeurs aberrantes basée sur les centiles. Les expériences sur Llama-3-8B, Vicuna-v1.5-13B et LLaVA-v1.5-13B démontrent que la méthode maintient une précision comparable à celle de l'élagage non structuré tout en atteignant un gain de vitesse d'inférence pratique.
Les auteurs considèrent cela important car cela permet à l'élagage structuré de conserver les avantages de précision des techniques non structurées tout en fournissant les gains d'efficacité d'inférence inhérents à la parcimonie structurée.