Le projet llama.cpp a publié la version b10594, qui inclut une correction pour sauter la boucle device_info lorsque le niveau de journalisation n'est pas défini sur LOG_LEVEL_TRACE. Auparavant, cette boucle itérait sur les appareils découverts pour interroger les comptes de mémoire, ce qui nécessitait la création de contextes GPU et entraînait une allocation de 550 Mo de VRAM même lorsque les données étaient jetées.

  • Le changement empêche l'utilisation inutile des ressources GPU en vérifiant le niveau de verbosité avant d'itérer.
  • Les binaires sont disponibles pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android et iOS.
  • La version fournit également des binaires d'interface utilisateur et des attestations pour la vérification.

Cette mise à jour aide les utilisateurs qui ne souhaitent pas utiliser de ressources GPU à éviter la surcharge de création de contextes et d'allocation de VRAM lorsque les informations de l'appareil ne sont pas nécessaires.