github llama.cpp · à l'instant · inference

llama.cpp b10410 supprime la promotion de type fp32 séparée dans le chemin gemm non-oneDNN

Traduit de English → Français

Le projet llama.cpp a publié la version b10410, qui inclut un changement de code pour le backend SYCL. Cette mise à jour supprime la promotion de type fp32 séparée dans le chemin GEMM non-oneDNN et utilise à la place la promotion automatique fp16.

La release fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) et openEuler.
Le support macOS Apple Silicon KleidiAI est désactivé dans cette release.
Le support Ubuntu x64 ROCm 7.14 est également désactivé.
Le composant UI est disponible en téléchargement séparé.

Cette mise à jour simplifie l'implémentation de SYCL GEMM en s'appuyant sur la promotion automatique de type plutôt que sur la gestion explicite.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10408 ajoute le noyau ESIMD Q3_K et déplace le contrôle vers l'exécution

Le projet llama.cpp a publié la version b10408, qui introduit un noyau DMMV Q3_K ESIMD pour les GPU Intel. Cette version comprend également de nouveaux noyaux ESIMD Q4_K et Q6_K et refactorise la base de code pour permettre le contrôle d'ESIMD à l'exécution plutôt qu'à la compilation.

github llama.cpp · il y a 3 j

llama.cpp b10353 corrige les résultats erronés silencieux dans les noyaux ROLL de CUDA et Metal

Le projet llama.cpp a publié la compilation b10353, qui traite d'un bug critique dans l'opération ggml_roll sur les backends CUDA et Metal. Auparavant, les tenseurs source permutés (non contigus) produisaient silencieusement des résultats incorrects car ces backends ignoraient les informations de stride.

github llama.cpp · il y a 6 j · 1 vue

llama.cpp b10321 corrige NORM/RMS_NORM pour les longueurs de lignes partielles simdgroup

Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.

github llama.cpp · il y a 7 j · 6 vues

llama.cpp b10293 ajoute l'intégration continue ROCm pour gfx1151 et corrige l'inférence sur RDNA3.5

Le projet llama.cpp a publié la compilation b10293, qui inclut l'intégration continue AMD ROCm pour l'architecture gfx1151 et résout les problèmes de correction sur les GPU intégrés RDNA3.5.

github llama.cpp · il y a 9 j · 3 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.