github llama.cpp · il y a 1 h · inference

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Traduit de English → Français

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.

La mise à jour ajoute une configuration d'exécution via GGML_CUDA_MMVQ_MAX pour ajuster le seuil de taille de lot où le noyau bascule de mul_mat_vec_q vers MMQ.
Des valeurs spécifiques pour les points de commutation sont désormais incluses pour les architectures Blackwell, DGX Spark et Ada, réduisant la dépendance aux variables d'environnement.
La baisse de ce seuil dirige les lots plus importants vers le chemin des cœurs tensoriels int8 MMQ, offrant un gain de vitesse mesuré de 23 à 41 % pour une taille de lot de 8 sur RTX 5090 pour les modèles denses Q4_K.
La mise à jour inclut des binaires pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, CUDA, Vulkan, ROCm, OpenVINO et SYCL.

Cette amélioration optimise les performances d'inférence sur les GPU NVIDIA modernes en sélectionnant automatiquement le chemin de noyau le plus efficace en fonction de la taille du lot et des capacités matérielles.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

Articles similaires

lab Hugging Face Blog · il y a 3 j · 5 vues

Un allocateur GPU conscient des contraintes améliore l'utilisation et la sortie pondérée par priorité par rapport au FIFO

Un allocateur GPU conscient des contraintes a été comparé à un planificateur FIFO dans sept scénarios, atteignant jusqu'à 33 points de pourcentage d'utilisation GPU en plus et jusqu'à 105 % de sortie pondérée par priorité en plus sur du matériel identique. Le système traite la demande d'inférence en temps réel comme une courbe fluctuante plutôt que comme une réservation statique, permettant aux jobs de type batch de remplir la capacité pendant les creux tout en respectant des contraintes strictes telles que des blocs GPU contigus et l'absence de préemption.

media r/LocalLLaMA · il y a 4 j · 22 vues

NVIDIA sert Qwen 3.8 2.4T sur GB300 NVL72 à 4K tok/s par GPU

NVIDIA a démontré le service du modèle de paramètres Qwen 3.8 2.4T avec des capacités de raisonnement configurables sur sa plateforme matérielle GB300 NVL72.

github llama.cpp · il y a 14 j · 26 vues

llama.cpp b10306 ajoute un chemin plat pour GLU SYCL et consolide les noyaux

La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.

github llama.cpp · il y a 17 j · 31 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

media r/LocalLLaMA · il y a 21 j · 27 vues

Lucebox et AMD battent Nvidia DGX Spark par 3.63x sur DeepSeek V4 Flash

Lucebox s'est associé à AMD pour démontrer une configuration matérielle hétérogène grand public qui surpasse Nvidia DGX Spark en vitesse d'inférence. Le système combine un GPU AMD Radeon AI PRO R9700 avec un processeur Strix Halo pour exécuter le modèle complet DeepSeek V4 Flash de 284B.