github llama.cpp · il y a 1 h · inference

llama.cpp b10327 corrige le nombre de threads/blocs dans le noyau de copie quantifiée

Traduit de English → Français

Le projet llama.cpp a publié la version b10327, qui inclut une correction pour le nombre de threads et de blocs lors des lancements du noyau de copie quantifiée sur CUDA. Cette mise à jour traite d'un problème identifié dans la pull request #26731.

La release ajoute des tests pour les cas de copie avec un nombre de blocs inégal afin de garantir l'exactitude.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) et openEuler.
Un XCFramework pour iOS et une compilation UI autonome sont également fournis.

Cette release assure l'exécution stable des opérations de copie quantifiée sur le matériel CUDA sur une large gamme de plateformes prises en charge.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10313 ajoute un planificateur LRU au serveur

Le projet llama.cpp a publié la version b10313, qui introduit un planificateur LRU (Least Recently Used) pour son composant serveur. Cette mise à jour inclut la gestion de la fusion des requêtes et des corrections pour les cas de streaming.

github llama.cpp · il y a 15 h

llama.cpp b10312 avec correction du serveur pour les modèles chargés

Le projet llama.cpp a publié la version b10312, qui inclut une mise à jour spécifique du composant serveur. Le changement principal résout un problème où des modèles chargés étaient évacués du routeur.

github llama.cpp · il y a 17 h

llama.cpp b10307 corrige l'analyse NVFP4 de SYCL

Le projet llama.cpp a publié la version b10307, qui inclut une correction pour le code GPU SYCL afin d'analyser correctement les facteurs d'échelle UE4M3 utilisés dans la quantification NVFP4.

github llama.cpp · il y a 1 j

llama.cpp b10298 ajoute la fonction de sauvegarde/chargement de chunks pour mtmd

Le projet llama.cpp a publié la compilation b10298, qui introduit une nouvelle fonction de sauvegarde et de chargement de chunks pour le module mtmd. Cette mise à jour comprend également un nettoyage du code et des tests supplémentaires.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10282 ajoute des compteurs spec-decode au point de terminaison /metrics

Le projet llama.cpp a publié la version b10282, qui introduit de nouvelles capacités de surveillance pour le décodage spéculatif. Le serveur inclut désormais des compteurs spec-decode dans son point de terminaison /metrics, permettant aux utilisateurs de suivre les métriques de performance liées à cette fonctionnalité.