llama.cppの最近のアップデートでは、SYCL/Intelハードウェア向けのいくつかの改善が導入されました。これにはパフォーマンスの向上や新機能のサポートが含まれます。

  • oneDNNグラフAPIを介したXMXエンジンによるFlash AttentionがXe2アーキテクチャで利用可能になり、Qwen3.6-27b-Q8_0などのモデルのプリフィル速度が大幅に加速しました。
  • コードベースはXIELU演算子タイプをサポートし、conv2d_dwカーネルにfp16サポートを追加しました。
  • 修正には、USMシステム割り当ての最小バッファサイズを増やすことと、Q2_K、Q4_K、Q5_K量子化におけるget_rows操作のエラーを修正することが含まれます。

これらの変更により、SYCLバックエンドを使用してIntel GPUでllama.cppを実行するユーザーの互換性とパフォーマンスが向上します。