O projeto llama.cpp lançou a versão b9965, que inclui uma otimização significativa para a operação ARGSORT em tensores pequenos por meio do backend hexagon. Esta atualização introduz uma implementação eficiente de ordenação bitônica usando registradores HVX capazes de lidar com até 1024 elementos.

  • Adicionada ordenação bitônica eficiente nos registradores HVX para até 1024 elementos.
  • Corrigidos VRORs invertidos no módulo hex-sort.
  • Funções de ordenação especializadas para casos comuns e adicionado rastreamento/contexto local.
  • Builds do macOS Apple Silicon (arm64) com KleidiAI estão agora desabilitados.

Este lançamento fornece binários atualizados para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU incluindo CUDA, Vulkan, ROCm e OpenVINO.