Peneliti mengusulkan DeLS-Spec, sebuah metode yang memodelkan DFlash tetap sebagai ahli konteks panjang sambil memperkenalkan kepala lokal ringan sebagai ahli konteks pendek. Pendekatan ini memungkinkan kepala lokal dilatih secara independen dengan tujuan prediksi token berikutnya yang standar, menghindari kebutuhan pelatihan bersama dengan model target atau backbone DFlash.
- DeLS-Spec menggabungkan logit konteks panjang dan pendek saat inferensi tanpa mengaitkan kepala lokal ke checkpoint DFlash tertentu.
- Metode ini mencapai biaya pelatihan yang sangat rendah dengan memisahkan proses drafting.
- Eksperimen pada model Qwen3 menunjukkan peningkatan konsisten dalam percepatan dan panjang penerimaan rata-rata di benchmark matematika, kode, dan dialog dibandingkan dengan DFlash.
Desain modular ini menawarkan fleksibilitas dan efisiensi yang lebih besar untuk decoding spekulatif tanpa memerlukan pelatihan ulang draft model yang mahal.