github llama.cpp · il y a 2 h · inference

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.

Vulkan effectue maintenant un fallback au lieu d'abandonner lorsque le scratch FA dépasse maxStorageBufferRange.
La version nécessite une disposition spécifique de KV-cache dans le chemin de déquantisation FA.
Les vérifications de permutation pour le chemin FA ont été resserrées et le timing de prealloc_x_need_sync a été corrigé.
Des tests ont été ajoutés pour les scénarios K/V FA alloués de manière contiguë.

Cette mise à jour améliore la stabilité et les performances pour les utilisateurs de Vulkan en traitant des cas limites dans la gestion de la mémoire et la compatibilité matérielle.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 29 j · 26 vues

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

media r/LocalLLaMA · il y a 7 h · 2 vues

Le modèle MoE G9v3-39A5B montre de solides résultats sur artificialanalysis

Le modèle G9v3-39A5B attire l'attention pour ses performances sur artificialanalysis, où il se classerait au-dessus de Qwen 3.6 27B.

media Hugging Face Forums · il y a 7 h · 1 vue

Le pipeline Celestium permet l'exécution de SDXL sur des GPU de 4 à 8 Go grâce à la précision FP16 adaptative et au basculement vers le CPU

Un diagnostic utilisant le pipeline d'inférence agnostique au matériel de Celestium démontre que Stable Diffusion XL peut s'exécuter de manière stable sur des GPU à faible VRAM (4 Go, 6 Go et 8 Go) en tirant parti de la précision FP16 adaptative et du nettoyage autonome de la mémoire. Cette approche évite les pics de fragmentation lors des pipelines multi-étapes et utilise un mode CPU d'urgence pour maintenir la génération lorsque la VRAM du GPU est épuisée.

github llama.cpp · il y a 12 h · 1 vue

llama.cpp b10509 ajoute le support de ggml_rope_set_offset pour Metal, CUDA et Vulkan

Le projet llama.cpp a publié la compilation b10509, qui introduit le support de la fonction `ggml_rope_set_offset` sur plusieurs backends matériels. Cette mise à jour inclut les implémentations CPU, Metal, CUDA et Vulkan pour la nouvelle opération.