Проект llama.cpp выпустил сборку b10693, которая добавляет поддержку NPUs Qualcomm Hexagon. Это обновление позволяет обнаруживать доступные ядра NPU во время выполнения и создавать сеансы вывода по требованию.
- Добавлены интерфейсы ленивого выделения и очистки сессий для устройств Hexagon.
- Реализовано обнаружение доступных ядер NPU во время выполнения.
- Настроено раннее отклонение несуществующих устройств при инициализации.
- Предоставлены бинарные файлы для macOS, Linux, Windows, Android и openEuler для бэкендов CPU, Vulkan, ROCm, OpenVINO, SYCL и CUDA.