El proyecto llama.cpp lanzó la versión b9965, que incluye una optimización significativa para la operación ARGSORT en tensores pequeños a través del backend hexagon. Esta actualización introduce una implementación eficiente de ordenamiento bitónico utilizando registros HVX capaces de manejar hasta 1024 elementos.

  • Se añadió ordenamiento bitónico eficiente en registros HVX para hasta 1024 elementos.
  • Se corrigieron VROR invertidos en el módulo hex-sort.
  • Funciones de ordenamiento especializadas para casos comunes y se añadió rastreo/contexto local.
  • Las compilaciones de macOS Apple Silicon (arm64) con KleidiAI ahora están deshabilitadas.

Esta versión proporciona binarios actualizados para macOS, Linux, Android, Windows y openEuler en varios backends de CPU y GPU que incluyen CUDA, Vulkan, ROCm y OpenVINO.