github llama.cpp · à l'instant · inference

llama.cpp b10908 corrige les threads inactifs dans les noyaux iq mul_mv de Metal

Traduit de English → Français

Le projet llama.cpp a publié la version b10908, qui inclut une correction pour les threads inactifs dans les noyaux iq mul_mv restants pour ne00 < 1024. Ce changement généralise la logique de division des lignes à six noyaux spécifiques : iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s et iq3_s.

La correction traite les cas où les lignes ont moins de 32 morceaux, permettant aux threads de partager des morceaux et de prendre des tranches des lignes.
Elle décale le pointeur de ligne src0 une fois dans les noyaux iq mul_mv car q2, dh, sc, qh et les signes sont dérivés de xr.
L'implémentation intègre la division de ligne iq mul_mv dans offset0 pour maintenir x et ses pointeurs dérivés sur le chemin existant.

Cette version fournit des binaires pour macOS, Linux, Android, Windows et openEuler sur diverses architectures incluant CPU, CUDA, ROCm, Vulkan et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10907 corrige l'allocation du cache kv de contexte MTP pour deepseek2, glm4moe, cohere2moe

Le projet llama.cpp a publié la version b10907, qui inclut une correction pour l'allocation du cache clé-valeur de contexte de Multi-Token Prediction (MTP). Cette mise à jour résout les problèmes affectant les architectures deepseek2, glm4moe et cohere2moe.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10905 ajuste Flash Attention pour AMD RDNA4 et révisé la logique de stream-k

Le projet llama.cpp a publié la compilation b10905, qui inclut un ajustement spécifique de Flash Attention pour CUDA/HIP sur l'architecture gfx1201. Cette mise à jour se concentre sur l'optimisation des performances pour les GPU AMD RDNA4.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.