Los investigadores proponen EcoSpec, un marco de decodificación especulativa consciente del costo que incorpora el costo marginal previsto de activación del experto en la selección de borradores para abordar la dispersión de expertos en modelos Mixture-of-Experts (MoE) a gran escala.
- EcoSpec utiliza un predictor de expertos ligero y un búfer de expertos dinámico para favorecer rutas de borrador que preserven la probabilidad de aceptación mientras reutilizan expertos ya cubiertos por el conjunto de verificación actual.
- El método evita modificar la regla de verificación del modelo objetivo, optimizando en su lugar la unión de los expertos activados durante la verificación paralela de tokens.
- Evaluado en DeepSeek-V3.1 (671B), Qwen3-235B-A22B y GPT-OSS-120B en benchmarks de razonamiento, codificación, respuesta a preguntas y diálogo.
- Logra una aceleración de hasta 1.62x al reducir consistentemente la huella de expertos activos y mejorar la velocidad de decodificación de extremo a extremo.
Estos resultados demuestran que tener en cuenta el costo de activación del experto es crítico para una decodificación especulativa eficiente en modelos MoE a gran escala.