github llama.cpp · il y a 4 h · inference

llama.cpp b10995 rend inconditionnel le tail BN/2 de MUL_MAT_ID sous Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10995, qui modifie la gestion de l'opération MUL_MAT_ID par le backend Vulkan. Spécifiquement, le changement rend le tail BN/2 inconditionnel en utilisant BN/2 comme valeur par défaut pour BNover2 et comme fallback désactivé pour BNover4, tout en supprimant le gate d'activation de cette branche.

La release inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour fournit aux utilisateurs des builds mis à jour sur de multiples plateformes et accélérateurs matériels.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10989 active AllReduce pour ROCm et fournit des binaires multi-plateformes

Le projet llama.cpp a publié la version b10989, qui introduit le support de l'activation des opérations AllReduce dans le backend ROCm. Cette mise à jour s'inscrit dans le développement continu visant à étendre la compatibilité matérielle et les capacités de calcul distribué pour l'inférence de grands modèles de langage.

github llama.cpp · il y a 16 h · 1 vue

llama.cpp b10988 ajoute la sélection de multiplication matricielle d'experts MoE via OpenCL pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b10988, introduisant des modifications au backend OpenCL spécifiquement pour les modèles Mixture of Experts (MoE). La mise à jour implémente une logique pour choisir la multiplication matricielle de l'expert MoE en fonction de la taille du lot lors du décodage spéculatif et de la prédiction multi-tokens.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10984 ajoute le support CUDA pour SUM_ROWS contigu par ligne

Le projet llama.cpp a publié la version b10984, introduisant le support CUDA pour les opérations SUM_ROWS contiguës par ligne. Cette mise à jour organise également le code pour inclure GGML_OP_MEAN afin de gérer les tenseurs contigus par ligne via un noyau partagé.

github llama.cpp · il y a 21 h · 1 vue

llama.cpp b10985 restreint le cache hash RPC aux poids

Le projet llama.cpp a publié la version b10985, qui modifie le backend RPC pour limiter le stockage en cache basé sur le hachage exclusivement aux tenseurs de poids. Cette modification résout un problème où les données d'activation étaient inutilement hashées et stockées, entraînant une utilisation excessive du disque.

github llama.cpp · il y a 1 j · 4 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.