github llama.cpp · il y a 1 h · inference

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Traduit de English → Français

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.

Route les tenseurs lm_head q6_K grands vers GEMV plat au lieu de gemv_noshuffle.
Ajoute une condition de taille directe pour éviter les ralentissements avec des modèles comme gemma-4 E2B, qui a des dimensions [1536, 262144].
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) et openEuler.

Ce changement garantit que les grandes matrices de poids sont traitées efficacement sur les appareils OpenCL sans provoquer de goulots d'étranglement de performance.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10236 implémente le DSv4 Lightning Indexer Metal

La version llama.cpp b10236 introduit une implémentation Metal du DSv4 Lightning Indexer, prenant spécifiquement en charge les entrées de 128 dimensions avec des requêtes et poids F32 ainsi que des clés et masques F16.

github llama.cpp · il y a 3 j · 8 vues

llama.cpp b10208 ajoute l'attention flash GEMM oneMKL pour le traitement des prompts accéléré par XMX

La version b10208 de llama.cpp introduit le support SYCL pour l'attention flash GEMM oneMKL, permettant l'accélération matérielle XMX pour le traitement des prompts. Ce changement améliore considérablement la vitesse d'inférence sur les GPU Intel Arc en utilisant des noyaux MKL au lieu du chemin TILE par défaut.

github llama.cpp · il y a 5 j · 2 vues

llama.cpp b10181 désactive MMQ sur les appareils ayant moins de 48 KiB de mémoire partagée

Le projet llama.cpp a publié la version b10181, qui inclut une correction dans ggml-cuda pour désactiver la Quantification de Multiplication Matricielle (MMQ) sur les GPU disposant de moins de 48 KiB de mémoire partagée par bloc. Auparavant, les configurations MMQ supposaient un minimum de 48 KiB, provoquant des erreurs fatales sur des appareils tels que les GPU NVIDIA Pascal et Moore Threads MTT S70 où la taille du tuile dépassait la mémoire disponible.

media Hugging Face Forums · il y a 5 j

Hugging Face corrige DynamicCache pour éviter les sorties incorrectes dans generate()

Un bug dans la fonction `generate()` de Hugging Face provoque des sorties incorrectes lorsque `past_key_values` est un `DynamicCache` construit externement. Ce problème affecte les méthodes de compression de cache KV comme SnapKV, H2O et KIVI qui reconstruisent les caches à partir de données de préremplissage. La cause racine est l'échec de la propagation du contexte positionnel, entraînant une perte de précision de 10,7 points de pourcentage sur Qwen3-VL-8B.

github llama.cpp · il y a 6 j · 19 vues

llama.cpp b10165 ajoute le support iq4_nl et q1_0 à Vulkan FA

Le projet llama.cpp a publié la compilation b10165, qui restaure le support de quantification iq4_nl pour le backend Flash Attention (FA) Vulkan. Ce changement résout le problème #23681 en réactivant la fonctionnalité après que les préoccupations concernant l'utilisation de la mémoire partagée aient été jugées négligeables.