Le projet llama.cpp a publié la version b9910, qui résout une incohérence critique entre l'ajustement et le chargement du modèle de draft dans le composant serveur. Cette mise à jour inclut une correction pour le problème de throttling du callback de progression lors du chargement du modèle de draft et refactorise l'initialisation spéculative.

  • Unifie l'initialisation des paramètres de prédiction draft/multi-token, du modèle et du chargement du contexte.
  • Déplace la logique d'initialisation spéculative vers speculative.cpp.
  • Modifie model_dft et ctx_dft de server_context_impl pour utiliser des pointeurs bruts.
  • Désactive le support KleidiAI pour macOS Apple Silicon dans cette version.
  • Fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

Cette version garantit un fonctionnement stable du serveur lors de l'utilisation du décodage spéculatif en corrigeant les mécanismes d'initialisation et de chargement sous-jacents.