llama.cpp プロジェクトはバージョン b10068 をリリースし、DFlash モデルの実装に変更を加えました。この更新では、K/V 量子化が使用される場合に注入されたキー/バリュー (K/V) キャッシュを回転させるために src/models/dflash.cpp が変更されました。
このリリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリが提供されています。
この更新により、量子化条件下での DFlash モデルのキャッシュ処理が正しく行われるようになりました。