llama.cppプロジェクトは、新しいMetalバックエンドの貢献により、Apple M4 Pro GPU用の高速アテンションベクトル(fa-vec)チューニングを追加しました。このアップデートは、追加のApple GPUをサポートする以前の作業に続き、2024年11月の14インチMacBook Proで`ggml-metal-tuning`ツールを使用して生成されました。
- チューニングプロセスは、他のシステム負荷なしで1時間13分1秒で正常に実行されました。
- この貢献はM4 Proアーキテクチャのf16およびq8_0データ型をサポートしています。
- このリリースには、macOS(Apple SiliconおよびIntel)、iOS、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、CUDA、Vulkan、OpenCL、ROCm、OpenVINO、SYCL)、openEulerのバイナリが含まれています。