Les chercheurs présentent MAESTRO, un cadre d'élagage structuré pour les modèles de langage Mixture-of-Experts (MoE) à activation clairsemée qui adresse le goulot d'étranglement mémoire des banques d'experts complètes. La méthode modélise les trajectoires d'activation autoregressive des experts comme des chaînes de Markov ergodiques pour capturer les dépendances inter-couches, fournissant une heuristique d'importance globalement consciente.
- MAESTRO évalue l'importance des experts en utilisant un routage basé sur la transition plutôt que des heuristiques locales.
- Il atteint jusqu'à 10.61% de rétention de performance moyenne supérieure par rapport aux bases de référence les plus avancées sous un régime de compression strict de 50%.
- L'approche démontre une variance inter-tâche substantiellement plus faible, indiquant une généralisation plus cohérente à travers des tâches hétérogènes incluant la Sécurité, le Biais et l'Éthique.