llama.cpp プロジェクトはビルド b10696 をリリースしました。これには、Apple M3 Pro チップ用に高速ベクトル (fa-vec) 調整を追加するプルリクエストが含まれています。

このアップデートは、特定のハードウェア構成でのパフォーマンスを向上させるために issue #27668 に対処しています。今回のリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL を含むさまざまなバックエンドを通じて、macOS、iOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。

fa-vec 調整は、M3 Pro プロセッサを搭載したデバイスで llama.cpp を実行するユーザーの推論速度または効率を最適化することを目的としています。