Проект llama.cpp выпустил версию b9874, которая представляет новую реализацию CUDA для конкатенации квантованных типов. Это обновление является частьюongoщего развития бэкенд-возможностей библиотеки.

  • Основной код изменения включает добавление поддержки CUDA для конкатенации квантованных типов данных.
  • В релиз включены бинарные файлы для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
  • Также в этом релизе предоставляется iOS XCFramework и standalone UI build.

Это обновление позволяет пользователям получить доступ к последним функциям и поддержке платформ, доступным в сборке b9874.