Le projet llama.cpp a publié la version b9965, qui inclut une optimisation significative de l'opération ARGSORT sur les petits tenseurs via le backend hexagon. Cette mise à jour introduit une implémentation efficace du tri bitomique utilisant des registres HVX capables de gérer jusqu'à 1024 éléments.

  • Ajout d'un tri bitomique efficace dans les registres HVX pour jusqu'à 1024 éléments.
  • Correction des VROR inversés dans le module hex-sort.
  • Fonctions de tri spécialisées pour les cas courants et ajout du traçage/contexte local.
  • Les builds macOS Apple Silicon (arm64) avec KleidiAI sont désormais désactivés.

Cette version fournit des binaires mis à jour pour macOS, Linux, Android, Windows et openEuler sur divers backends CPU et GPU incluant CUDA, Vulkan, ROCm et OpenVINO.