github llama.cpp · il y a 1 j · inference

llama.cpp b10353 corrige les résultats erronés silencieux dans les noyaux ROLL de CUDA et Metal

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10353, qui traite d'un bug critique dans l'opération ggml_roll sur les backends CUDA et Metal. Auparavant, les tenseurs source permutés (non contigus) produisaient silencieusement des résultats incorrects car ces backends ignoraient les informations de stride.

La correction ajoute une exigence de source contiguë aux noyaux roll CUDA et Metal, correspondant à la protection GGML_OP_ROPE existante.
Ce changement garantit que l'ordonnanceur revient à l'implémentation CPU pour les entrées non contiguës, qui gère correctement les strides.
Un cas de test_roll permuté a été ajouté pour vérifier la correction.

Cette mise à jour empêche la corruption des données dans les modèles dépendant d'opérations ROLL avec des layouts de mémoire non standard.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10321 corrige NORM/RMS_NORM pour les longueurs de lignes partielles simdgroup

Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.

github llama.cpp · il y a 6 j · 5 vues

llama.cpp b10293 ajoute l'intégration continue ROCm pour gfx1151 et corrige l'inférence sur RDNA3.5

Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.

github llama.cpp · il y a 8 j · 2 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

github llama.cpp · il y a 8 j · 1 vue

llama.cpp b10246 route les grands lm_head q6_K vers GEMV plat

Le projet llama.cpp a publié la version b10246, qui inclut une correction pour les performances d'OpenCL sur des configurations de modèles spécifiques. La mise à jour résout un problème où la condition de dimension originale était insuffisante pour gérer de grands poids.

github llama.cpp · il y a 9 j · 6 vues

llama.cpp b10236 implémente le DSv4 Lightning Indexer Metal

La version llama.cpp b10236 introduit une implémentation Metal du DSv4 Lightning Indexer, prenant spécifiquement en charge les entrées de 128 dimensions avec des requêtes et poids F32 ainsi que des clés et masques F16.