Les chercheurs proposent EcoSpec, un cadre de décodage spéculatif conscient des coûts qui intègre le coût d'activation marginal prédit des experts dans la sélection du brouillon pour adresser la dispersion des experts dans les modèles Mixture-of-Experts (MoE) à grande échelle.
- EcoSpec utilise un prédicteur d'experts léger et un tampon d'experts dynamique pour favoriser les chemins de brouillon qui préservent la probabilité d'acceptation tout en réutilisant les experts déjà couverts par l'ensemble de vérification actuel.
- La méthode évite de modifier la règle de vérification du modèle cible, optimisant plutôt l'union des experts activés lors de la vérification parallèle des tokens.
- Évalué sur DeepSeek-V3.1 (671B), Qwen3-235B-A22B et GPT-OSS-120B à travers les benchmarks de raisonnement, codage, réponse aux questions et dialogue.
- Réalise jusqu'à 1.62x d'accélération en réduisant constamment l'empreinte des experts actifs et en améliorant la vitesse de décodage de bout en bout.
Ces résultats démontrent que la prise en compte du coût d'activation des experts est critique pour un décodage spéculatif efficace dans les modèles MoE à grande échelle.