DFlash, метод спекулятивного декодирования с использованием блочной диффузии от z-lab, был слит с llama.cpp (PR #22105). Автор протестировал новую функцию на NVIDIA RTX PRO 6000 Blackwell с Qwen 3.6 27B, обнаружив, что она значительно быстрее предыдущих методов, таких как MTP.

  • DFlash заполняет блок до 15 токенов за один проход, а не черновик их по одному.
  • При контексте 36K DFlash достиг скорости 273.04 tok/s по сравнению с 61.47 tok/s для базовой модели, что дает ускорение в 4.44 раза.
  • Тесты качества на MATH-500 показали минимальное снижение (86% против 87% для базовой модели).
  • Метод требует примерно 5GB дополнительной нагрузки на VRAM для весов и буферов черновика.
  • Ускорение увеличивается с ростом длины контекста, достигая 4.44x при 36K, тогда как производительность базовой модели падает по мере роста контекста.

Этот подход обеспечивает значительный прирост производительности для локального использования ИИ, особенно в сценариях с низкой конкурентностью, где проходы диффузии не конкурируют сильно за вычислительные ресурсы.