DFlash, un método de decodificación especulativa que utiliza difusión por bloques de z-lab, se ha fusionado con llama.cpp (PR #22105). El autor evaluó la nueva función en una NVIDIA RTX PRO 6000 Blackwell con Qwen 3.6 27B, encontrándola significativamente más rápida que métodos anteriores como MTP.

  • DFlash rellena un bloque de hasta 15 tokens en un solo pase en lugar de redactarlos uno por uno.
  • Con un contexto de 36K, DFlash logró 273.04 tok/s en comparación con 61.47 tok/s para la línea base, una aceleración de 4.44x.
  • Las pruebas de calidad en MATH-500 mostraron una degradación mínima (86% frente al 87% del modelo base).
  • El método incurre aproximadamente en 5GB de sobrecarga adicional de VRAM para los pesos y búferes del redactor.
  • Las aceleraciones aumentan con la longitud del contexto, alcanzando 4.44x a 36K, mientras que el rendimiento de la línea base disminuye a medida que crece el contexto.

Este enfoque ofrece ganancias de rendimiento sustanciales para el uso de IA local, particularmente en escenarios de baja concurrencia donde los pases de difusión no compiten fuertemente por los recursos de cómputo.