github llama.cpp · il y a 1 h · inference

llama.cpp b10427 fusionne les opérations FFN SYCL pour un gain de débit jusqu'à 12,4 %

Traduit de English → Français

Le projet llama.cpp a publié la version b10427, qui inclut une optimisation de performance pour les GPU Intel Arc via SYCL. La mise à jour implémente la fusion des opérations gate, up et GLU au sein de la couche feed-forward dense (FFN) q4_K.

Mesuré sur un Arc Pro B70 avec llama-bench, le débit a augmenté de 2,8 % pour qwen2.5-3B-Instruct et de 2,0 % pour gemma-2-2b-it.
Les benchmarks d'inférence par lots sur qwen2.5-3B ont montré des gains significatifs : +3,4 % avec une taille de lot de 1, augmentant à +10,1 % avec B=2, +10,7 % avec B=4 et +12,4 % avec B=8.

Cette version fournit des binaires précompilés pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, CUDA, Vulkan, ROCm et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10413 ajoute la détection automatique du type de spéculation à partir des métadonnées GGUF

Le projet llama.cpp a publié la version b10413, qui introduit la détection automatique du type de spécification du décodage spéculatif directement à partir des métadonnées du modèle draft GGUF.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10410 supprime la promotion de type fp32 séparée dans le chemin gemm non-oneDNN

Le projet llama.cpp a publié la version b10410, qui inclut un changement de code pour le backend SYCL. Cette mise à jour supprime la promotion de type fp32 séparée dans le chemin GEMM non-oneDNN et utilise à la place la promotion automatique fp16.

github llama.cpp · il y a 19 h · 4 vues

llama.cpp b10408 ajoute le noyau ESIMD Q3_K et déplace le contrôle vers l'exécution

Le projet llama.cpp a publié la version b10408, qui introduit un noyau DMMV Q3_K ESIMD pour les GPU Intel. Cette version comprend également de nouveaux noyaux ESIMD Q4_K et Q6_K et refactorise la base de code pour permettre le contrôle d'ESIMD à l'exécution plutôt qu'à la compilation.

github llama.cpp · il y a 3 j · 6 vues

llama.cpp b10353 corrige les résultats erronés silencieux dans les noyaux ROLL de CUDA et Metal

Le projet llama.cpp a publié la compilation b10353, qui traite d'un bug critique dans l'opération ggml_roll sur les backends CUDA et Metal. Auparavant, les tenseurs source permutés (non contigus) produisaient silencieusement des résultats incorrects car ces backends ignoraient les informations de stride.

github llama.cpp · il y a 7 j · 8 vues

llama.cpp b10321 corrige NORM/RMS_NORM pour les longueurs de lignes partielles simdgroup

Le projet llama.cpp a publié la version b10321, qui inclut une correction critique pour les opérations GGML_OP_NORM et GGML_OP_RMS_NORM sur Metal. La mise à jour résout un problème où des threadgroups dont la taille laissait un groupe SIMD partiel entraînaient des calculs incorrects de moyenne et de variance en raison de sommes partielles perdues.