El proyecto llama.cpp ha lanzado la versión b9966, que incluye una optimización de rendimiento para los patrones de expresión regular tensor-split. La función `llama_meta_device_get_split_state()` anteriormente recompilaba 29 objetos `std::regex` en cada llamada, lo que dominaba el hilo de decodificación durante el perfilado en modo -sm.

  • Marcar estos patrones como static const asegura que se compilen solo una vez, mejorando la eficiencia sin cambiar el comportamiento.
  • Están disponibles compilaciones para macOS Apple Silicon (arm64), pero el soporte de KleidiAI está deshabilitado.
  • Se proporcionan binarios de Linux para Ubuntu x64 y arm64 (CPU), s390x (CPU), Vulkan, ROCm 7.2, OpenVINO y SYCL FP32/FP16.
  • Se incluyen compilaciones de Android arm64 (CPU).
  • Las versiones de Windows cubren CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e HIP.
  • El soporte de openEuler está parcialmente deshabilitado, con compilaciones x86 y aarch64 disponibles para hardware específico.

Esta actualización proporciona binarios optimizados en múltiples plataformas y aceleradores, abordando cuellos de botella de rendimiento en la división de tensores.