研究人员提出了EcoSpec，这是一种成本感知的推测性解码框架，将预测的边际专家激活成本纳入草稿选择中，以解决大规模混合专家（MoE）模型中的专家分散问题。

  • EcoSpec使用轻量级专家预测器和动态专家缓冲区，优先选择保留接受概率的路径，同时重用当前验证集已覆盖的专家。
  • 该方法避免修改目标模型的验证规则，而是优化并行令牌验证期间激活专家的并集。
  • 在DeepSeek-V3.1 (671B)、Qwen3-235B-A22B和GPT-OSS-120B上进行了推理、编码、问答和对话基准测试评估。
  • 通过持续减少活跃专家足迹并提高端到端解码速度，实现了高达1.62倍的加速。

这些结果表明，考虑专家激活成本对于大规模MoE模型中的高效推测性解码至关重要。