PALS ajusta la espaciamiento por capa para la poda de LLM basada en magnitudes de activación

Los autores proponen PALS (Percentile-Aware Layerwise Sparsity), un método de poda de un solo paso que ajusta la espaciamiento por capa basándose en el percentil 99 de las magnitudes de activación, acotado a ±5% alrededor de la proporción objetivo. Este enfoque aborda la limitación de métodos como Wanda y SparseGPT, que aplican proporciones de espaciamiento uniformes independientemente de la importancia de la capa.

• En LLaMA-2-7B al 50% de espaciamiento, PALS logra una perplejidad de WikiText-2 de 10.96, en comparación con 12.92 para Wanda uniforme (media sobre 9 ejecuciones, p < 0.001).
• El beneficio depende de la arquitectura: LLaMA-3-8B muestra ganancias marginales y Mistral-7B no muestra ninguna.
• La asignación basada en gradientes produce resultados peores que aleatorios, sugiriendo que la magnitud del gradiente no predice el impacto de la eliminación discreta de pesos.

PALS añade un costo insignificante al pipeline de poda y no requiere ajuste fino.