github llama.cpp · à l'instant · inference

llama.cpp b10782 corrige l'optimisation des graphes CUDA pour le multi-GPU

Traduit de English → Français

Le projet llama.cpp a publié la version b10782, qui résout un problème critique dans le backend CUDA pour les configurations multi-GPU. La mise à jour permet des flux concurrents par partition et active l'optimisation des graphes CUDA pour fonctionner correctement sur plusieurs appareils.

Corrige un bug où les événements CUDA étaient incorrectement liés au GPU actif lors de la création, ce qui entraînait le saut de l'optimisation des graphes multi-GPU.
Implémente le réglage explicite de l'appareil via `ggml_cuda_set_device` pour garantir que les optimisations s'appliquent à la partition correcte par appareil.
La correction n'est active que lorsque `GGML_CUDA_GRAPH_OPT=1` est activé ; le comportement par défaut reste inchangé.

Ce changement garantit que l'optimisation des graphes s'exécute une fois par partition au lieu d'être contournée, permettant à l'inférence multi-GPU d'utiliser correctement l'accélération CUDA.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10780 améliore l'API SYCL pour prendre en charge la copie peer-to-peer

Le projet llama.cpp a publié la version b10780, qui inclut une amélioration spécifique du backend SYCL. Cette mise à jour modifie l'API pour activer les capacités de copie peer-to-peer pour les appareils SYCL.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b10781 corrige l'activation du chemin de déquantification FA Vulkan

Le projet llama.cpp a publié la version b10781, qui inclut une correction pour le chemin de déquantification de l'attention rapide (FA) Vulkan. La mise à jour résout un problème où le shader vérifiait incorrectement `nb[3]` même lorsque `ne[3] == 1`, ce qui empêchait le chemin de s'activer que lorsque le cache était plein.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp ajoute le support pour NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduit le support pour le modèle NVIDIA Nemotron-3-Puzzle-75B-A9B, permettant l'inférence pour cette architecture de Mixture of Experts. La mise à jour implémente une infrastructure pour les tailles de feed-forward des experts par couche variables et le routage top-k, qui sont requis car le modèle possède 40 couches MoE avec des valeurs distinctes de n_ff_exp et top-k.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10777 réduit le travail redondant dans Q4_K multi-column MMVQ

Le projet llama.cpp a publié la compilation b10777, qui inclut des optimisations pour le backend SYCL de la multiplication matrice-vecteur (MMVQ) à colonnes multiples avec Q4_K. La mise à jour se concentre sur la réduction du travail computationnel redondant grâce à des stratégies de dépaquetage des poids et de réutilisation des activations.

github llama.cpp · il y a 9 h · 1 vue

ggml-org lance llama.cpp b10774 avec correction du cache KV pour le fine-tuning

Le projet ggml-org a publié la version b10774 de llama.cpp, qui inclut une correction pour le problème d'absence de cache KV dans le module de fine-tuning.