Los investigadores proponen SATS (Umbralización Consciente de la Sensibilidad para Esparsidad) y un marco ligero de enrutamiento de tokens para optimizar la inferencia en Modelos de Lenguaje Grandes. SATS reemplaza la calibración basada en percentiles con un proxy de sensibilidad de salida MLP local para determinar los umbrales de puerta por capa, mientras que el marco de enrutamiento selecciona dinámicamente las rutas de cómputo por token.
- SATS utiliza una regla de selección consciente de la sensibilidad en lugar de percentiles de activación para la calibración del umbral.
- El enrutamiento de tokens elige dinámicamente entre rutas base y modificadas a nivel de token.
- La evaluación en varios LLM de peso abierto muestra que SATS mejora sobre las líneas base de esparsificación basada en umbrales a una esparsidad real emparejada.
- El enrutamiento de tokens produce un compromiso calidad-rendimiento más favorable que las líneas base de modificación estática de activaciones.
Los autores concluyen que la mejora en la calibración del umbral y el enrutamiento de tokens pueden mejorar el compromiso calidad-rendimiento en los LLM.