Проект llama.cpp выпустил версию b9946, внедряя значительные оптимизации для процессоров Qualcomm Hexagon наряду с новыми артефактами сборки для нескольких платформ.

  • Унарные операции Hexagon теперь используют тайлинг широких строк для предотвращения переполнения VTCM и заменяют деление на fastdiv.
  • Обновление включает инструментацию трассировки и оптимизированные ядра HVX для улучшения генерации кода.
  • Доступны бинарные файлы macOS Apple Silicon, хотя поддержка KleidiAI остается отключенной.
  • Новые сборки Linux охватывают цели CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL.
  • Выпуски Windows теперь включают поддержку CUDA 13 наряду с существующими вариантами CUDA 12, OpenCL и HIP.

Этот релиз предоставляет обновленные бинарные файлы для настольных и мобильных сред, а также улучшает производительность на оборудовании на базе Hexagon.