llama.cppプロジェクトは、DSV4における量子化されたキーバリューキャッシュの修正を含むバージョンb9905をリリースしました。このアップデートは、モデルのキャッシュメカニズム内の特定の課題に対処し、安定性や正確性を向上させます。

今回のリリースでは、macOS(Apple SiliconおよびIntel)、iOS、Linux(Ubuntu x64、arm64、s390x対応CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)、Android(arm64)、Windows(CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler(ACL Graph対応x86およびaarch64)向けのバイナリが提供されています。macOS Apple SiliconのKleidiAIサポートはこのビルドでは無効化されています。

このリリースにより、ユーザーは幅広いハードウェアアクセラレータとオペレーティングシステムにおいて最新のバグ修正にアクセスできるようになります。