llama.cpp b10208リリースは、oneMKL GEMMフラッシュアテンションに対するSYCLサポートを導入し、プロンプト処理のためのXMXハードウェアアクセラレーションを可能にします。この変更により、デフォルトのTILEパスではなくMKLカーネルを利用することで、Intel Arc GPUでの推論速度が大幅に向上します。

  • パフォーマンスベンチマークでは、B70/Battlemageハードウェア上でGemma-4-26Bで1.97倍の高速化（1473 t/s vs 746 t/s）、Qwen3.6-27Bで1.85倍の高速化（609 t/s vs 330 t/s）が示されています。
  • この実装は、以前のバージョンでほとんどのモデルのアテンション出力を壊していたnormalizeカーネル内のインターリーブされた宛先レイアウトのバグを修正しました。
  • MKLフラッシュアテンションは、F16、BF16、F32、および量子化されたすべてのKVキャッシュタイプに対して有効になり、以前は量子化されたキャッシュのみが制限されていました。
  • 新しい環境変数により、ユーザーはGGML_SYCL_ENABLE_MKL_FAを通じてデバッグを有効にしたり、機能を無効にしたり、活性化閾値を制御したりできます。

このアップデートは、互換性のあるIntelハードウェア上でマルチトークンプレフィル演算のレイテンシを大幅に削減しつつ、標準的な実装とのパープレキシティの同等性を維持します。