Проект llama.cpp выпустил версию b9925, которая включает конкретное обновление своего бэкенда CUDA. Этот релиз добавляет поддержку операции GGML_OP_SET_ROWS от f16 к f16, устраняя пробел в покрытии GPU-ядер.

  • Предоставлены бинарные файлы для macOS Apple Silicon и Intel, при этом KleidiAI явно отключен на Apple Silicon.
  • Сборки для Linux охватывают CPU (x64, arm64, s390x) и различные ускорители, включая Vulkan, ROCm 7.2, OpenVINO и SYCL FP32/FP16.
  • Релизы для Windows включают CPU, OpenCL Adreno, Vulkan, HIP, OpenVINO, SYCL и варианты CUDA 12/13.
  • Доступны бинарные файлы Android arm64 (CPU) и iOS XCFramework для мобильной развертывания.
  • Поддержка openEuler частично отключена, сохранены специфические сборки для архитектур x86 и aarch64 с использованием ACL Graph.

Это обновление обеспечивает более широкую совместимость оборудования для пользователей llama.cpp, включая отсутствующую операцию set rows на устройствах CUDA и предоставляя предварительно скомпилированные бинарные файлы для основных операционных систем и производителей GPU.