z-labによるブロック拡散を利用した推論デコーディング手法であるDFlashが、llama.cpp（PR #22105）にマージされました。著者はNVIDIA RTX PRO 6000 Blackwell上でQwen3.6-27Bを用いて新機能をベンチマークし、MTPなどの既存手法と比較して大幅な高速化を確認しました。

  • DFlashはトークンを一つずつドラフトするのではなく、一度に最大15個のトークンブロックを埋めます。
  • 36Kのコンテキストにおいて、DFlashは273.04 tok/sを達成し、ベースラインの61.47 tok/sと比較して4.44倍の高速化となりました。
  • MATH-500での品質テストでは、最小限の劣化（ベースモデルの87%に対して86%）にとどまりました。
  • この手法は、ドラフター用の重みとバッファのために約5GBの追加VRAMオーバーヘッドを発生させます。
  • 高速化率はコンテキスト長とともに増加し、36Kで4.44倍に達するのに対し、ベースラインのパフォーマンスはコンテキストが拡大すると低下します。

このアプローチは、拡散パスが計算リソースを激しく競合しない低同時実行シナリオにおいて、ローカルAIの利用に大きなパフォーマンス向上をもたらします。