github llama.cpp · il y a 1 h · inference

llama.cpp b10519 refactorise la gestion du sommeil pour permettre l'accès aux métriques

Traduit de English → Français

Le projet llama.cpp a publié la version b10519, qui inclut une refonte significative du mécanisme de gestion du sommeil du serveur. Ce changement permet au point de terminaison /metrics de rester accessible pendant que le serveur est en état de veille.

Refonte de la logique on_sleeping_state et séparation des tâches/résultats des métriques et des slots.
Ajout de réponses mises en cache et correction d'une condition de course dans le minuteur de tâche des métriques.
Correction de get_res_model_info et mise à jour de la documentation.
Fourniture de binaires pour macOS (Apple Silicon/Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, ROCm), Android et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10517 ajoute des optimisations de déquantisation FA pour Vulkan et des correctifs

Le projet llama.cpp a publié la compilation b10517, introduisant plusieurs améliorations spécifiques à Vulkan dans le chemin de déquantisation de l'attention flash (FA). Les changements clés incluent la déquantisation de q8_0 KV une fois dans coopmat1, le saut du chemin de déquantisation FA sur coopmat2 et l'exclusion d'Intel Xe1 du chemin de déquantisation FA.

media r/LocalLLaMA · il y a 9 h · 2 vues

Le modèle MoE G9v3-39A5B montre de solides résultats sur artificialanalysis

Le modèle G9v3-39A5B attire l'attention pour ses performances sur artificialanalysis, où il se classerait au-dessus de Qwen 3.6 27B.

media Hugging Face Forums · il y a 9 h · 1 vue

Le pipeline Celestium permet l'exécution de SDXL sur des GPU de 4 à 8 Go grâce à la précision FP16 adaptative et au basculement vers le CPU

Un diagnostic utilisant le pipeline d'inférence agnostique au matériel de Celestium démontre que Stable Diffusion XL peut s'exécuter de manière stable sur des GPU à faible VRAM (4 Go, 6 Go et 8 Go) en tirant parti de la précision FP16 adaptative et du nettoyage autonome de la mémoire. Cette approche évite les pics de fragmentation lors des pipelines multi-étapes et utilise un mode CPU d'urgence pour maintenir la génération lorsque la VRAM du GPU est épuisée.

github llama.cpp · il y a 19 h · 1 vue

llama.cpp b10505 ajoute l'option de préréglage dedup-cache-models

Le projet llama.cpp a publié la version b10505, qui introduit une nouvelle option de préréglage `dedup-cache-models` pour le composant serveur.

media Hugging Face Forums · il y a 2 j · 3 vues

La quantification du cache KV par magnitude de Fourier double la longueur du contexte à mémoire égale

ntrillard démontre que la quantification du spectre de magnitude de Fourier des valeurs du cache K et V sur 4 bits, tout en préservant la phase à pleine précision, atteint une correspondance de tokens de 96,9 % par rapport à la référence fp16 sur Gemma-3-1B, soit une amélioration de 5 à 10 fois par rapport à la quantification min-max standard.