MAESTRO poda especialistas de MoE via roteamento de cadeia de Markov para melhorar a retenção

Pesquisadores introduzem o MAESTRO, um framework de poda estruturada para modelos de linguagem Mixture-of-Experts (MoE) com ativação esparsa que aborda o gargalo de memória dos bancos completos de especialistas. O método modela trajetórias de ativação de especialistas autoregressivas como cadeias de Markov ergódicas para capturar dependências entre camadas, fornecendo uma heurística de importância globalmente consciente.

• O MAESTRO avalia a importância do especialista usando roteamento baseado em transições em vez de heurísticas locais.
• Ele alcança até 10.61% maior retenção média de desempenho em comparação com baselines state-of-the-art sob um regime estrito de compressão de 50%.
• A abordagem demonstra variância entre tarefas substancialmente menor, indicando generalização mais consistente em tarefas heterogêneas incluindo Segurança, Vies e Ética.