研究者らは、EcoSpecを提案した。これはコスト認識型の推測的デコーディングフレームワークであり、ドラフト選択に予測されたマージナルエキスパート活性化コストを組み込むことで、大規模なMixture-of-Experts (MoE)モデルにおけるエキスパートの散在問題を解決する。

  • EcoSpecは、軽量なエキスパート予測器と動的なエキスパートバッファを使用し、現在の検証セットで既にカバーされているエキスパートを再利用しつつ、受容可能性を維持するドラフトパスを優先する。
  • この手法はターゲットモデルの検証ルールを変更することなく、並列トークン検証中に活性化されたエキスパートの結合体を最適化する。
  • 推論、コーディング、質問応答、対話ベンチマークにおいて、DeepSeek-V3.1 (671B)、Qwen3-235B-A22B、GPT-OSS-120Bで評価された。
  • アクティブなエキスパートのフットプリントを一貫して削減し、エンドツーエンドのデコーディング速度を向上させることで、最大1.62倍の高速化を実現した。

これらの結果は、大規模なMoEモデルにおける効率的な推測的デコーディングにおいて、エキスパート活性化コストを考慮することが重要であることを示している。