Проект llama.cpp выпустил сборку b9894, которая включает исправление для бэкенда Vulkan, предотвращающее сбои в GGML_OP_SET_ROWS, вызванные отсутствием поддержки f16.

  • Реализация Vulkan теперь проверяет тип src0 в GGML_OP_SET_ROWS, чтобы избежать сбоев из-за отсутствия поддержки f16.
  • Сборки для macOS доступны для Apple Silicon (arm64) и Intel (x64), при этом KleidiAI отключен на Apple Silicon.
  • Бинарные файлы для Linux охватывают Ubuntu x64, arm64 и s390x для бэкендов CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL.
  • Поддержка Android включает сборки CPU arm64.
  • Бинарные файлы для Windows предоставляют варианты CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL и HIP.
  • Доступны сборки openEuler x86 и aarch64 с ACL Graph, в то время как openEuler x86 (310p) отключен.

Это обновление обеспечивает стабильность для пользователей, полагающихся на инференс Vulkan, устраняя конкретную проблему проверки типов.