Проект llama.cpp выпустил версию b10068, которая вносит изменения в реализацию модели DFlash. Обновление изменяет src/models/dflash.cpp, чтобы вращать внедрённый ключ/значение (K/V) кэш при использовании K/V квантования.
Этот релиз предоставляет бинарные файлы для macOS (Apple Silicon и Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
Обновление обеспечивает корректную обработку кэша для моделей DFlash в условиях квантования.