Peneliti mengusulkan EcoSpec, sebuah kerangka dekoding spekulatif yang sadar biaya yang memasukkan biaya aktivasi ahli marginal yang diprediksi ke dalam pemilihan draf untuk mengatasi penyebaran ahli pada model Mixture-of-Experts (MoE) skala besar.
- EcoSpec menggunakan prediktor ahli ringan dan buffer ahli dinamis untuk memprioritaskan jalur draf yang mempertahankan kemungkinan penerimaan sambil menggunakan kembali ahli yang sudah dicakup oleh set verifikasi saat ini.
- Metode ini menghindari memodifikasi aturan verifikasi model target, alih-alih mengoptimalkan gabungan ahli yang diaktifkan selama verifikasi token paralel.
- Dievaluasi pada DeepSeek-V3.1 (671B), Qwen3-235B-A22B, dan GPT-OSS-120B di seluruh benchmark penalaran, pemrograman, pertanyaan-jawaban, dan dialog.
- Mencapai percepatan hingga 1.62x dengan secara konsisten mengurangi jejak ahli aktif dan meningkatkan kecepatan dekoding end-to-end.
Hasil-hasil ini menunjukkan bahwa memperhitungkan biaya aktivasi ahli sangat penting untuk dekoding spekulatif yang efisien pada model MoE skala besar.