DSpark adalah framework decoding spekulatif yang dirancang untuk mempercepat inferensi Model Bahasa Besar (LLM) dengan menggabungkan generasi draf semi-otoregresif dengan verifikasi adaptif yang sadar beban. Ini mengatasi masalah penurunan penerimaan dan degradasi throughput yang ditemukan pada drafter paralel yang ada.
- DSpark memanfaatkan arsitektur semi-otoregresif yang mengkopel backbone paralel dengan modul sekuensial ringan untuk memodelkan ketergantungan intra-blok.
- Sistem ini menerapkan verifikasi terjadwal kepercayaan untuk menyesuaikan panjang verifikasi secara dinamis berdasarkan probabilitas kelangsungan awalan dan profil throughput.
- Pada benchmark offline, DSpark secara substansial meningkatkan panjang yang diterima dibandingkan dengan drafter otoregresif dan paralel terkini.
- Dalam sistem serving DeepSeek-V4 lalu lintas langsung, DSpark mempercepat kecepatan generasi per pengguna sebesar 60 hingga 85 persen dibandingkan dengan baseline MTP-1.
Dengan mencegah pemborosan verifikasi dan mengurangi degradasi throughput di bawah batasan interaktivitas yang ketat, DSpark memungkinkan tingkat kinerja yang sebelumnya tidak dapat dicapai di lingkungan produksi.