z-lab에서 개발한 블록 확산(block diffusion)을 활용한 추론 디코딩 방법인 DFlash가 llama.cpp(PR #22105)에 병합되었습니다. 저자는 NVIDIA RTX PRO 6000 Blackwell에서 Qwen3.6-27B를 사용하여 새 기능을 벤치마킹했으며, MTP 등의 기존 방법보다 훨씬 빠르다는 것을 발견했습니다.

  • DFlash는 토큰을 하나씩 드래프트하는 대신 한 번의 패스에서 최대 15개의 토큰 블록을 채웁니다.
  • 36K 컨텍스트에서 DFlash는 273.04 tok/s를 달성했으며, 이는 기준선(baseline)의 61.47 tok/s 대비 4.44배 속도 향상입니다.
  • MATH-500에 대한 품질 테스트에서는 최소한의 성능 저하(기본 모델의 87% 대비 86%)가 나타났습니다.
  • 이 방법은 드래프터 가중치와 버퍼를 위해 약 5GB의 추가 VRAM 오버헤드를 발생시킵니다.
  • 속도 향상은 컨텍스트 길이가 늘어남에 따라 증가하여 36K에서 4.44배에 도달하는 반면, 기준선 성능은 컨텍스트가 커짐에 따라 감소합니다.

이 접근 방식은 확산 패스가 컴퓨팅 리소스를 치열하게 경쟁하지 않는 낮은 동시성 시나리오에서 로컬 AI 사용에 상당한 성능 향상을 제공합니다.