github llama.cpp · à l'instant · inference

llama.cpp b10907 corrige l'allocation du cache kv de contexte MTP pour deepseek2, glm4moe, cohere2moe

Traduit de English → Français

Le projet llama.cpp a publié la version b10907, qui inclut une correction pour l'allocation du cache clé-valeur de contexte de Multi-Token Prediction (MTP). Cette mise à jour résout les problèmes affectant les architectures deepseek2, glm4moe et cohere2moe.

Corrige l'allocation du cache kv de contexte MTP pour les modèles deepseek2, glm4moe et cohere2moe.
Ajoute le filtrage par architecture inverse et des tests d'architecture complets pour le filtrage des couches MTP.
Simplifie le commentaire du filtre NextN et supprime les modifications de test-llama-archs.

La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10908 corrige les threads inactifs dans les noyaux iq mul_mv de Metal

Le projet llama.cpp a publié la version b10908, qui inclut une correction pour les threads inactifs dans les noyaux iq mul_mv restants pour ne00 < 1024. Ce changement généralise la logique de division des lignes à six noyaux spécifiques : iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s et iq3_s.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10905 ajuste Flash Attention pour AMD RDNA4 et révisé la logique de stream-k

Le projet llama.cpp a publié la compilation b10905, qui inclut un ajustement spécifique de Flash Attention pour CUDA/HIP sur l'architecture gfx1201. Cette mise à jour se concentre sur l'optimisation des performances pour les GPU AMD RDNA4.

github llama.cpp · il y a 1 j · 5 vues

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.