llama.cpp b9909 ajoute les timings et la progression au flux de l'API /responses

Le projet llama.cpp a publié la version b9909, qui introduit des informations de timing et de progression dans le flux de l'API /responses. Cette mise à jour est disponible sur plusieurs plateformes, notamment macOS, Linux, Windows, Android et openEuler.

• Le changement fonctionnel principal est l'ajout de détails de timing et de progression dans la sortie en streaming pour le point de terminaison de l'API /responses.
• Des binaires préconstruits sont fournis pour diverses architectures telles que Apple Silicon, Intel x64, ARM64 et s390x.
• La prise en charge du GPU inclut CUDA 12.4 et 13.3, Vulkan, ROCm 7.2, OpenVINO, SYCL et HIP.
• Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette version.

Cette mise à jour permet aux utilisateurs de surveiller plus efficacement la progression des réponses de l'API.