PALS ajusta la esparsidad por capa para la poda de LLM usando percentiles de activación

Los autores proponen PALS (Percentile-Aware Layerwise Sparsity), un método de poda en un solo paso que ajusta la esparsidad por capa basándose en el percentil 99 de las magnitudes de activación, acotado a ±5% alrededor de la proporción objetivo. Este enfoque aborda la limitación de métodos existentes como Wanda y SparseGPT, que aplican proporciones de esparsidad uniformes en todas las capas.

• En LLaMA-2-7B al 50% de esparsidad, PALS logra una perplejidad de WikiText-2 de 10.96, comparado con 12.92 para Wanda uniforme (media sobre 9 ejecuciones, p < 0.001).
• El beneficio depende de la arquitectura: LLaMA-3-8B muestra ganancias marginales y Mistral-7B no muestra ninguna.
• La asignación basada en gradientes produce resultados peores que aleatorios, sugiriendo que la magnitud del gradiente no predice el impacto de la eliminación discreta de pesos.
• PALS añade un costo insignificante al pipeline de poda y no requiere ajuste fino.