github llama.cpp · il y a 2 j · inference

llama.cpp b10863 corrige les threads inactifs dans Metal mul_mv_iq3_xxs pour les petites matrices

Traduit de English → Français

Le projet llama.cpp a publié la version b10863, qui inclut une correction pour les threads inactifs dans le noyau `mul_mv_iq3_xxs` sur Metal lorsque `ne00` est inférieur à 1024. La mise à jour résout un problème de simdgroup partiellement inactif en introduisant un noyau divisé séparé pour des dimensions de matrice spécifiques.

Corrige le simdgroup partiellement inactif dans `kernel_mul_mv_iq3_xxs_f32` pour `ne00 < 1024`.
Maintient `N_R0_IQ3_XXS = 4` et dispatche un noyau divisé séparé de 8 lignes lorsque `ne00/32 < 32` et divise 32.
Utilise une constante de fonction pour sélectionner la division de ligne `iq3_xxs` au lieu d'une instanciation de noyau séparée.

Cette version fournit des binaires pour macOS, iOS, Linux, Android, Windows et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm, Vulkan et OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 17 h · 1 vue

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10870 ajoute les pipelines de multiplication matricielle f16 type B et le réglage de la taille du tile warp pour Intel coopmat1

Le projet llama.cpp a publié la version b10870, introduisant le support Vulkan pour les pipelines de multiplication matricielle f16 type B et le réglage de la taille du tile warp spécifiquement pour le matériel Intel coopmat1.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10871 ajoute un shader mat-vec iq4_xs dédié pour Vulkan

Le projet llama.cpp a publié la compilation b10871, introduisant un shader mul_mat_vec_iq4_xs dédié pour le chemin dmmv dans Vulkan. Ce changement remplace l'implémentation de repli générique précédente pour améliorer les performances sur le matériel RDNA4.