O DFlash, um método de decodificação especulativa usando difusão em blocos da z-lab, foi fundido com o llama.cpp (PR #22105). O autor fez benchmarks do novo recurso em uma NVIDIA RTX PRO 6000 Blackwell com Qwen 3.6 27B, encontrando-o significativamente mais rápido que métodos anteriores como MTP.

  • O DFlash preenche um bloco de até 15 tokens em uma única passagem, em vez de rascunhá-los um por um.
  • Com contexto de 36K, o DFlash alcançou 273.04 tok/s em comparação com 61.47 tok/s para a linha de base, uma aceleração de 4.44x.
  • Testes de qualidade no MATH-500 mostraram degradação mínima (86% vs 87% para o modelo base).
  • O método incorre em aproximadamente 5GB de sobrecarga adicional de VRAM para os pesos e buffers do rascunhador.
  • As acelerações aumentam com o comprimento do contexto, atingindo 4.44x a 36K, enquanto o desempenho da linha de base diminui à medida que o contexto cresce.

Esta abordagem oferece ganhos substanciais de desempenho para uso de IA local, particularmente em cenários de baixa concorrência onde as passagens de difusão não competem fortemente por recursos de computação.