llama.cpp b9965 улучшает производительность ARGSORT для малых тензоров

Проект llama.cpp выпустил версию b9965, которая включает значительную оптимизацию операции ARGSORT для малых тензоров через бэкенд hexagon. Это обновление внедряет эффективную реализацию битомного сортирования с использованием регистров HVX, способных обрабатывать до 1024 элементов.

• Добавлено эффективное битомное сортирование в регистрах HVX для до 1024 элементов.
• Исправлены инвертированные VROR в модуле hex-sort.
• Специализированные функции сортировки для распространенных случаев и добавление трассировки/локального контекста.
• Сборки macOS Apple Silicon (arm64) с KleidiAI теперь отключены.

Этот релиз предоставляет обновленные бинарные файлы для macOS, Linux, Android, Windows и openEuler для различных CPU и GPU бэкендов, включая CUDA, Vulkan, ROCm и OpenVINO.