github llama.cpp · il y a 1 h · inference

Lancement de llama.cpp b10538 avec cache KV déquantisé pour les grands lots

Traduit de English → Français

Le projet llama.cpp a publié la version b10538, introduisant une optimisation clé dans le backend metal. Cette mise à jour permet la déquantisation du cache de clés et de valeurs (KV) exclusivement pour les tailles de lot importantes.

Le changement principal concerne le backend metal, qui applique désormais le cache KV déquantisé uniquement lors du traitement de grands lots.
Les binaires sont disponibles pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Le support de KleidiAI sur Apple Silicon pour macOS et ROCm 7.14 sur Ubuntu sont désactivés dans cette version.

Cette optimisation vise à améliorer l'efficacité mémoire ou les performances pour les charges de travail impliquant de grandes tailles de lot sur du matériel compatible.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10532 ajoute la déquantisation du cache KV Metal pour Flash Attention

Le projet llama.cpp a publié la version b10532, introduisant un passage de prétraitement sur le backend Metal qui déquantise les caches Key-Value (KV) quantisés en F16 avant d'exécuter Flash Attention.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10519 refactorise la gestion du sommeil pour permettre l'accès aux métriques

Le projet llama.cpp a publié la version b10519, qui inclut une refonte significative du mécanisme de gestion du sommeil du serveur. Ce changement permet au point de terminaison /metrics de rester accessible pendant que le serveur est en état de veille.

github llama.cpp · il y a 9 h · 2 vues

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.

media r/LocalLLaMA · il y a 14 h · 2 vues

Le modèle MoE G9v3-39A5B montre de solides résultats sur artificialanalysis

Le modèle G9v3-39A5B attire l'attention pour ses performances sur artificialanalysis, où il se classerait au-dessus de Qwen 3.6 27B.

media Hugging Face Forums · il y a 14 h · 1 vue

Le pipeline Celestium permet l'exécution de SDXL sur des GPU de 4 à 8 Go grâce à la précision FP16 adaptative et au basculement vers le CPU

Un diagnostic utilisant le pipeline d'inférence agnostique au matériel de Celestium démontre que Stable Diffusion XL peut s'exécuter de manière stable sur des GPU à faible VRAM (4 Go, 6 Go et 8 Go) en tirant parti de la précision FP16 adaptative et du nettoyage autonome de la mémoire. Cette approche évite les pics de fragmentation lors des pipelines multi-étapes et utilise un mode CPU d'urgence pour maintenir la génération lorsque la VRAM du GPU est épuisée.