Le projet llama.cpp a publié la version b9966, intégrant une optimisation de performance pour les motifs regex de division des tenseurs. La fonction `llama_meta_device_get_split_state()` recompilait précédemment 29 objets `std::regex` à chaque appel, ce qui dominait le thread de décodage lors du profilage en mode tenseur -sm.

  • Marquer ces motifs comme static const garantit qu'ils ne sont compilés qu'une seule fois, améliorant l'efficacité sans modifier le comportement.
  • Les builds pour macOS Apple Silicon (arm64) sont disponibles, mais le support KleidiAI est désactivé.
  • Des binaires Linux sont fournis pour Ubuntu x64 et arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO et SYCL FP32/FP16.
  • Les builds Android arm64 (CPU) sont inclus.
  • Les versions Windows couvrent CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et HIP.
  • Le support openEuler est partiellement désactivé, avec des builds x86 et aarch64 disponibles pour du matériel spécifique.

Cette mise à jour fournit des binaires optimisés sur de multiples plateformes et accélérateurs, adressant les goulots d'étranglement de performance dans la division des tenseurs.