Los investigadores presentan MAESTRO, un marco de trabajo de poda estructurada para modelos de lenguaje de Mezcla de Expertos (MoE) con activación dispersa que aborda el cuello de botella de memoria de los bancos completos de expertos. El método modela las trayectorias de activación de expertos autoregresivas como cadenas de Markov ergódicas para capturar dependencias entre capas, proporcionando una heurística de importancia globalmente consciente.

  • MAESTRO evalúa la importancia del experto utilizando enrutamiento basado en transiciones en lugar de heurísticas locales.
  • Logra hasta un 10.61% más de retención promedio de rendimiento en comparación con las líneas base de vanguardia bajo un régimen estricto de compresión del 50%.
  • El enfoque demuestra una varianza entre tareas sustancialmente menor, lo que indica una generalización más consistente en tareas heterogéneas que incluyen Seguridad, Sesgo y Ética.