DFlash, sebuah metode decoding spekulatif menggunakan difusi blok dari z-lab, telah digabungkan ke dalam llama.cpp (PR #22105). Penulis melakukan benchmark fitur baru tersebut pada NVIDIA RTX PRO 6000 Blackwell dengan Qwen3.6-27B, menemukan bahwa metode ini jauh lebih cepat dibandingkan metode sebelumnya seperti MTP.
- DFlash mengisi blok hingga 15 token dalam satu kali lewati alih-alih menyusunnya satu per satu.
- Pada konteks 36K, DFlash mencapai 273,04 tok/s dibandingkan dengan 61,47 tok/s untuk baseline, yaitu percepatan 4,44x.
- Uji kualitas pada MATH-500 menunjukkan degradasi minimal (86% dibandingkan 87% untuk model dasar).
- Metode ini menimbulkan overhead VRAM tambahan sekitar 5GB untuk bobot dan buffer drafter.
- Percepatan meningkat seiring dengan panjang konteks, mencapai 4,44x pada 36K, sedangkan kinerja baseline menurun seiring bertambahnya konteks.
Pendekatan ini menawarkan peningkatan kinerja yang signifikan untuk penggunaan AI lokal, terutama dalam skenario konkurensi rendah di mana lewati difusi tidak bersaing secara berat untuk sumber daya komputasi.