Pesquisadores propõem o EcoSpec, um framework de decodificação especulativa consciente do custo que incorpora o custo marginal previsto de ativação do especialista na seleção de rascunhos para abordar a dispersão de especialistas em modelos Mixture-of-Experts (MoE) em grande escala.

  • O EcoSpec usa um preditor de especialistas leve e um buffer dinâmico de especialistas para favorecer caminhos de rascunho que preservem a probabilidade de aceitação enquanto reutilizam especialistas já cobertos pelo conjunto de verificação atual.
  • O método evita modificar a regra de verificação do modelo alvo, otimizando em vez disso a união dos especialistas ativados durante a verificação paralela de tokens.
  • Avaliado no DeepSeek-V3.1 (671B), Qwen3-235B-A22B e GPT-OSS-120B em benchmarks de raciocínio, codificação, resposta a perguntas e diálogo.
  • Alcança até 1,62x de aceleração ao reduzir consistentemente as pegadas de especialistas ativos e melhorar a velocidade de decodificação de ponta a ponta.

Esses resultados demonstram que levar em conta o custo de ativação do especialista é crítico para uma decodificação especulativa eficiente em modelos MoE em grande escala.