Este artigo propõe um método aprimorado de poda estruturada para modelos de linguagem grandes que adapta a Retenção Adaptativa de Características (AFR) para superar desafios em escores de poda heterogêneos, perda de informação de sinal e influência de valores atípicos.
A abordagem combina transformação de potência para alinhamento de distribuição não linear, agregação de escores que preserva o sinal e remoção de valores atípicos baseada em percentis. Experimentos no Llama-3-8B, Vicuna-v1.5-13B e LLaVA-v1.5-13B demonstram que o método mantém a precisão comparável à poda não estruturada enquanto alcança aceleração prática de inferência.
Os autores consideram isso importante porque permite que a poda estruturada retenha os benefícios de precisão das técnicas não estruturadas, ao mesmo tempo em que fornece os ganhos de eficiência de inferência inerentes à esparsidade estruturada.