Исследователи предлагают EcoSpec, фреймворк спекулятивного декодирования с учётом затрат, который включает предсказанную маргинальную стоимость активации эксперта в выборку черновиков для решения проблемы рассеивания экспертов в крупномасштабных моделях Mixture-of-Experts (MoE).

  • EcoSpec использует лёгкий предиктор экспертов и динамический буфер экспертов, чтобы отдавать предпочтение путям черновиков, сохраняющим вероятность принятия при повторном использовании экспертов, уже охваченных текущим набором верификации.
  • Метод избегает изменения правила верификации целевой модели, оптимизируя объединение активированных экспертов во время параллельной верификации токенов.
  • Оценивался на DeepSeek-V3.1 (671B), Qwen3-235B-A22B и GPT-OSS-120B в задачах рассуждений, программирования, ответа на вопросы и диалога.
  • Достигает ускорения до 1.62x за счёт последовательного сокращения количества активных экспертов и улучшения скорости сквозного декодирования.

Эти результаты демонстрируют, что учёт стоимости активации эксперта критически важен для эффективного спекулятивного декодирования в крупномасштабных моделях MoE.