DFlash, une méthode de décodage spéculatif utilisant la diffusion par blocs de z-lab, a été intégrée dans llama.cpp (PR #22105). L'auteur a benchmarké la nouvelle fonctionnalité sur un NVIDIA RTX PRO 6000 Blackwell avec Qwen3.6-27B, constatant qu'elle est nettement plus rapide que les méthodes précédentes comme MTP.

  • DFlash remplit un bloc d'au moins 15 tokens en un seul passage plutôt que de les rédiger un par un.
  • À un contexte de 36K, DFlash a atteint 273,04 tok/s contre 61,47 tok/s pour la ligne de base, soit un gain de vitesse de 4,44x.
  • Les tests de qualité sur MATH-500 ont montré une dégradation minimale (86% contre 87% pour le modèle de base).
  • La méthode entraîne environ 5 Go de surcharge VRAM supplémentaire pour les poids et tampons du drafter.
  • Les gains de vitesse augmentent avec la longueur du contexte, atteignant 4,44x à 36K, tandis que les performances de la ligne de base diminuent à mesure que le contexte augmente.

Cette approche offre des gains de performances substantiels pour l'utilisation locale de l'IA, en particulier dans des scénarios à faible concurrence où les passes de diffusion ne concurrencent pas fortement les ressources de calcul.