github llama.cpp · il y a 1 h · inference

llama.cpp b10509 ajoute le support de ggml_rope_set_offset pour Metal, CUDA et Vulkan

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10509, qui introduit le support de la fonction `ggml_rope_set_offset` sur plusieurs backends matériels. Cette mise à jour inclut les implémentations CPU, Metal, CUDA et Vulkan pour la nouvelle opération.

Ajout des paramètres `ggml_rope_set_offset` et de l'implémentation du noyau CPU.
Mise en place du support du noyau Metal pour la nouvelle fonctionnalité de décalage rope.
Activation du support CUDA pour `ggml_rope_set_offset` tout en supprimant le garde-fou `supports_op`.
Ajout du support du backend Vulkan pour `ggml_rope_set_offset` sur Linux et Windows.
Suppression de l'optimisation in-place des opérations concernées.

La version fournit des binaires précompilés pour macOS, iOS, Linux, Android, Windows et openEuler sur diverses architectures, y compris CPU, GPU et accélérateurs spécialisés comme OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10427 fusionne les opérations FFN SYCL pour un gain de débit jusqu'à 12,4 %

Le projet llama.cpp a publié la version b10427, qui inclut une optimisation de performance pour les GPU Intel Arc via SYCL. La mise à jour implémente la fusion des opérations gate, up et GLU au sein de la couche feed-forward dense (FFN) q4_K.

github llama.cpp · il y a 7 j · 23 vues

llama.cpp b10413 ajoute la détection automatique du type de spéculation à partir des métadonnées GGUF

Le projet llama.cpp a publié la version b10413, qui introduit la détection automatique du type de spécification du décodage spéculatif directement à partir des métadonnées du modèle draft GGUF.

github llama.cpp · il y a 7 j · 26 vues

llama.cpp b10410 supprime la promotion de type fp32 séparée dans le chemin gemm non-oneDNN

Le projet llama.cpp a publié la version b10410, qui inclut un changement de code pour le backend SYCL. Cette mise à jour supprime la promotion de type fp32 séparée dans le chemin GEMM non-oneDNN et utilise à la place la promotion automatique fp16.

github llama.cpp · il y a 7 j · 25 vues

llama.cpp b10408 ajoute le noyau ESIMD Q3_K et déplace le contrôle vers l'exécution

Le projet llama.cpp a publié la version b10408, qui introduit un noyau DMMV Q3_K ESIMD pour les GPU Intel. Cette version comprend également de nouveaux noyaux ESIMD Q4_K et Q6_K et refactorise la base de code pour permettre le contrôle d'ESIMD à l'exécution plutôt qu'à la compilation.

github llama.cpp · il y a 9 j · 23 vues

llama.cpp b10353 corrige les résultats erronés silencieux dans les noyaux ROLL de CUDA et Metal

Le projet llama.cpp a publié la compilation b10353, qui traite d'un bug critique dans l'opération ggml_roll sur les backends CUDA et Metal. Auparavant, les tenseurs source permutés (non contigus) produisaient silencieusement des résultats incorrects car ces backends ignoraient les informations de stride.