Le projet llama.cpp a publié la version b10017, qui inclut une mise à jour spécifique du backend SYCL. Cette modification augmente le seuil de taille minimale du tampon pour les allocations système de la mémoire partagée unifiée (USM) de 1 GiB à 4 GiB.

  • Cet ajustement est basé sur des expériences réelles impliquant la surallocation de la mémoire du périphérique avec des poids de modèle supérieurs à la VRAM disponible, comme l'exécution de Qwen3.5-35B-A3B-Q8 sur un B70.
  • Un message de débogage a également été ajouté pour mieux suivre les allocations système USM.
  • La version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

La modification vise à améliorer la stabilité lors de la gestion de grands modèles qui dépassent la VRAM disponible sur le matériel compatible SYCL.