github llama.cpp · il y a 12 h · inference

llama.cpp b10989 active AllReduce pour ROCm et fournit des binaires multi-plateformes

Traduit de English → Français

Le projet llama.cpp a publié la version b10989, qui introduit le support de l'activation des opérations AllReduce dans le backend ROCm. Cette mise à jour s'inscrit dans le développement continu visant à étendre la compatibilité matérielle et les capacités de calcul distribué pour l'inférence de grands modèles de langage.

La version inclut des binaires préconstruits pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x), Windows et Android.
Les options d'accélération GPU sont élargies pour inclure CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16 et ROCm 10.0 sur les plateformes prises en charge.
Des builds spécifiques sont fournis pour les architectures openEuler x86 et aarch64, incluant le support d'ACL Graph sur les processeurs 910b.
Un binaire d'interface utilisateur autonome est également disponible aux côtés des versions de la bibliothèque principale.

Cette version permet aux utilisateurs de tirer parti des GPU AMD basés sur ROCm avec la fonctionnalité AllReduce tout en fournissant des binaires mis à jour pour divers systèmes d'exploitation et accélérateurs matériels.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10995 rend inconditionnel le tail BN/2 de MUL_MAT_ID sous Vulkan

Le projet llama.cpp a publié la compilation b10995, qui modifie la gestion de l'opération MUL_MAT_ID par le backend Vulkan. Spécifiquement, le changement rend le tail BN/2 inconditionnel en utilisant BN/2 comme valeur par défaut pour BNover2 et comme fallback désactivé pour BNover4, tout en supprimant le gate d'activation de cette branche.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10988 ajoute la sélection de multiplication matricielle d'experts MoE via OpenCL pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b10988, introduisant des modifications au backend OpenCL spécifiquement pour les modèles Mixture of Experts (MoE). La mise à jour implémente une logique pour choisir la multiplication matricielle de l'expert MoE en fonction de la taille du lot lors du décodage spéculatif et de la prédiction multi-tokens.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10984 ajoute le support CUDA pour SUM_ROWS contigu par ligne

Le projet llama.cpp a publié la version b10984, introduisant le support CUDA pour les opérations SUM_ROWS contiguës par ligne. Cette mise à jour organise également le code pour inclure GGML_OP_MEAN afin de gérer les tenseurs contigus par ligne via un noyau partagé.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10985 restreint le cache hash RPC aux poids

Le projet llama.cpp a publié la version b10985, qui modifie le backend RPC pour limiter le stockage en cache basé sur le hachage exclusivement aux tenseurs de poids. Cette modification résout un problème où les données d'activation étaient inutilement hashées et stockées, entraînant une utilisation excessive du disque.

github llama.cpp · il y a 1 j · 4 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.