Este artículo propone un método mejorado de poda estructurada para modelos de lenguaje grandes que adapta la Retención Adaptativa de Características (AFR) para superar los desafíos en las puntuaciones de poda heterogéneas, la pérdida de información de signo y la influencia de valores atípicos.
El enfoque combina transformación de potencia para la alineación de distribuciones no lineales, agregación de puntuaciones que preserva el signo y eliminación de valores atípicos basada en percentiles. Los experimentos en Llama-3-8B, Vicuna-v1.5-13B y LLaVA-v1.5-13B demuestran que el método mantiene una precisión comparable a la poda no estructurada mientras logra una aceleración práctica de la inferencia.
Los autores consideran esto importante porque permite que la poda estructurada retenga los beneficios de precisión de las técnicas no estructuradas mientras proporciona las ganancias de eficiencia de inferencia inherentes a la dispersión estructurada.