Les chercheurs proposent le Seuillage Aware-Sensitivity for Sparsity (SATS) et un framework de routage de tokens léger pour optimiser l'inférence dans les Grands Modèles Linguistiques. SATS remplace la calibration basée sur les centiles par un proxy de sensibilité de sortie MLP local pour déterminer les seuils de porte par couche, tandis que le framework de routage sélectionne dynamiquement les chemins de calcul par token.
- SATS utilise une règle de sélection sensible à la sensibilité au lieu des centiles d'activation pour la calibration du seuil.
- Le routage de tokens choisit dynamiquement entre les chemins de base et modifiés sur une base par token.
- L'évaluation sur plusieurs LLMs à poids ouverts montre que SATS améliore les bases de parcimonie basées sur le seuil à une parcimonie réelle correspondante.
- Le routage de tokens offre un compromis qualité-débit plus favorable que les bases de modification d'activation statique.
Les auteurs concluent qu'une calibration améliorée du seuil et le routage de tokens peuvent améliorer le compromis qualité-débit dans les LLMs.