Le projet llama.cpp a publié la compilation b10693, qui introduit la prise en charge des NPUs Qualcomm Hexagon. Cette mise à jour permet la découverte en temps d'exécution des cœurs NPU disponibles et autorise la création de sessions d'inférence à la demande.

  • Ajout des interfaces d'allocation et de nettoyage paresseux des sessions pour les périphériques Hexagon.
  • Implémentation de la découverte en temps d'exécution des cœurs NPU disponibles.
  • Configuration du rejet précoce des périphériques inexistants lors de l'initialisation.
  • Fourniture de binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, Vulkan, ROCm, OpenVINO, SYCL et CUDA.