Le projet llama.cpp a publié la version b9910, qui résout une incohérence critique entre l'ajustement et le chargement du modèle de draft dans le composant serveur. Cette mise à jour inclut une correction pour le problème de throttling du callback de progression lors du chargement du modèle de draft et refactorise l'initialisation spéculative.
- Unifie l'initialisation des paramètres de prédiction draft/multi-token, du modèle et du chargement du contexte.
- Déplace la logique d'initialisation spéculative vers speculative.cpp.
- Modifie model_dft et ctx_dft de server_context_impl pour utiliser des pointeurs bruts.
- Désactive le support KleidiAI pour macOS Apple Silicon dans cette version.
- Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.
Cette version garantit un fonctionnement stable du serveur lors de l'utilisation du décodage spéculatif en corrigeant les mécanismes d'initialisation et de chargement sous-jacents.