github llama.cpp · à l'instant · inference

llama.cpp b10408 ajoute le noyau ESIMD Q3_K et déplace le contrôle vers l'exécution

Traduit de English → Français

Le projet llama.cpp a publié la version b10408, qui introduit un noyau DMMV Q3_K ESIMD pour les GPU Intel. Cette version comprend également de nouveaux noyaux ESIMD Q4_K et Q6_K et refactorise la base de code pour permettre le contrôle d'ESIMD à l'exécution plutôt qu'à la compilation.

Ajoute les noyaux ESIMD DMMV Q3_K, Q4_K et Q6_K.
Déplace le contrôle d'ESIMD de la configuration à la compilation vers l'exécution.
Utilise ESIMD par défaut lorsque disponible et corrige les erreurs potentielles avec ce comportement par défaut.
Inclut des directives de déroulement explicites pour les noyaux ESIMD et nettoie le code du noyau.

La mise à jour fournit des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, Vulkan, OpenCL, ROCm et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10353 corrige les résultats erronés silencieux dans les noyaux ROLL de CUDA et Metal

Le projet llama.cpp a publié la compilation b10353, qui traite d'un bug critique dans l'opération ggml_roll sur les backends CUDA et Metal. Auparavant, les tenseurs source permutés (non contigus) produisaient silencieusement des résultats incorrects car ces backends ignoraient les informations de stride.

github llama.cpp · il y a 6 j · 1 vue

llama.cpp b10321 corrige NORM/RMS_NORM pour les longueurs de lignes partielles simdgroup

Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.

github llama.cpp · il y a 7 j · 6 vues

llama.cpp b10293 ajoute l'intégration continue ROCm pour gfx1151 et corrige l'inférence sur RDNA3.5

Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.

github llama.cpp · il y a 9 j · 3 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

github llama.cpp · il y a 10 j · 1 vue

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.