github llama.cpp · à l'instant · inference

llama.cpp b10922 ajoute le noyau binaire OpenCL A8 Q4_K

Traduit de English → Français

Le projet llama.cpp a publié la version b10922, introduisant un nouveau noyau binaire OpenCL pour les multiplications de matrices non-MoE de A8 Q4_K. Cette mise à jour comprend également des correctifs de compatibilité de disposition et le renommage des assistants de sélection de noyau binaire au sein de la base de code.

Ajout du noyau OpenCL `kernel_gemm_noshuffle_q4_k_f32_32b_trans_ila_a8_bin`.
Correction des problèmes de compatibilité de disposition dans le backend OpenCL.
Renommage des assistants de sélection de noyau binaire pour plus de clarté.

Cette version fournit des binaires mis à jour pour macOS, Linux, Windows, Android et iOS sur divers backends matériels, y compris CPU, CUDA, Vulkan, ROCm et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10907 corrige l'allocation du cache kv de contexte MTP pour deepseek2, glm4moe, cohere2moe

Le projet llama.cpp a publié la version b10907, qui inclut une correction pour l'allocation du cache clé-valeur de contexte de Multi-Token Prediction (MTP). Cette mise à jour résout les problèmes affectant les architectures deepseek2, glm4moe et cohere2moe.

github llama.cpp · il y a 22 h · 1 vue

llama.cpp b10908 corrige les threads inactifs dans les noyaux iq mul_mv de Metal

Le projet llama.cpp a publié la version b10908, qui inclut une correction pour les threads inactifs dans les noyaux iq mul_mv restants pour ne00 < 1024. Ce changement généralise la logique de division des lignes à six noyaux spécifiques : iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s et iq3_s.

github llama.cpp · il y a 23 h · 1 vue

llama.cpp b10905 ajuste Flash Attention pour AMD RDNA4 et révisé la logique de stream-k

Le projet llama.cpp a publié la compilation b10905, qui inclut un ajustement spécifique de Flash Attention pour CUDA/HIP sur l'architecture gfx1201. Cette mise à jour se concentre sur l'optimisation des performances pour les GPU AMD RDNA4.

github llama.cpp · il y a 2 j · 6 vues

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 2 j · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.