llama.cpp b10016リリースは、oneDNNグラフAPIを介してXMXエンジンを使用してFlash AttentionのSYCLサポートを導入します。このアップデートは主にIntel Battlemage (Xe2) ハードウェアを対象としており、他のアーキテクチャは既存のカーネルにフォールバックする一方で、この機能のスコープをこのアーキテクチャに絞り込んでいます。

  • F16 Flash Attentionは、シーケンス長512でQwen3.6-27b-Q8_0に対して1.21xのprefill速度向上、80kでは4.26xの速度向上を提供します。
  • Meta-Llama-3.1-8B-Instructでのベンチマークは、パープレキシティがわずか0.11%の違いで、prefillパフォーマンスが32%増加したことを示しています。
  • 実装には、Battlemageゲート、ストリーム処理のためのマルチデバイス同期、およびマルチGPU同期の問題に対する修正が含まれています。

この変更により、ハードウェア固有のアクセラレーション機能を活用して、互換性のあるIntel GPUでより高速な推論が可能になります。