Проект llama.cpp выпустил версию b11054, которая добавляет поддержку оператора TOP_K на DSP Qualcomm Hexagon. Это обновление включает оптимизации для обработки одиночных строк и исправления для разделения строк.
- Включает поддержку Hexagon для оператора TOP_K через pull request #29113.
- Оптимизирует выбор больших строк и повышает лимит размера на основе VTCM.
- Исправляет проблемы с разделением строк mdev в TOP_K.
- Обновляет документацию, чтобы отразить новые списки поддержки TOP_K.
Этот релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.