llama.cpp プロジェクトはバージョン b10670 をリリースし、Intel の Xe2 アーキテクチャ用の特定の最適化が含まれています。この更新では、量子化されたキーバリュー (KV) デコード操作を BMG ハードウェアに対して TILE バックエンドのみにルーティングし、他のアーキテクチャについては検証されるまで VEC バックエンドを維持します。
- 量子化 KV デコードは Xe2 (BMG) で TILE に方向付けられます。
- 他のアーキテクチャは検証待ちで VEC バックエンドを引き続き使用します。
- macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、openEuler 用のバイナリが提供されています。
この変更は、特定の Intel ハードウェア世代のメモリアクセスパターンを最適化します。