github llama.cpp · il y a 4 h · inference

La version b10717 de llama.cpp améliore la récupération des informations mémoire SYCL

Traduit de English → Français

Le projet llama.cpp a publié la version b10717, qui inclut une amélioration spécifique pour le backend SYCL sur les GPU Intel. Cette mise à jour améliore la capacité de récupérer des informations sur la mémoire libre en exploitant l'API L0 SYCL.

Améliore la récupération des informations mémoire via l'API L0 SYCL.
Supprime le code de débogage et applique des mises à jour de formatage.
Met à jour la documentation SYCL.md pour GGML_SYCL_GET_MEM_API.
Fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

La version assure une compatibilité matérielle plus large sur plusieurs plateformes tout en traitant spécifiquement les capacités de gestion de mémoire pour les utilisateurs de GPU Intel via le backend SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 10 h · 3 vues

llama.cpp b10712 ajoute la sélection radix top-k Vulkan pour Qwen 3.8 Flash Next

Le projet llama.cpp a publié la compilation b10712, introduisant un nouveau shader de tri radix top-k conçu pour Vulkan afin de prendre en charge des valeurs k supérieures ou égales à 1024. Cette mise à jour cible spécifiquement le modèle Qwen 3.8 Flash Next et inclut des tests correspondants ainsi que la fusion top-k qsa.

github llama.cpp · il y a 17 h · 6 vues

llama.cpp b10705 améliore la gestion de TENSOR_READ_LAZY

Le projet llama.cpp a publié la version b10705, qui inclut une amélioration du mécanisme de gestion de TENSOR_READ_LAZY. Cette mise à jour force les tenseurs paresseux sur le CPU lorsque le paramètre paresseux est activé.

github llama.cpp · il y a 18 h · 4 vues

llama.cpp b10702 optimise le produit scalaire Q2_0 pour AMD gfx1201

Le projet llama.cpp a publié la version b10702, qui inclut une optimisation spécifique pour le chemin du produit scalaire de quantification Q2_0 sur l'architecture gfx1201 d'AMD. Cette mise à jour étend l'implémentation de HIP pour utiliser des instructions natives de permutation amdgcn, améliorant les performances pour cette configuration matérielle spécifique.

github llama.cpp · il y a 1 j · 6 vues

llama.cpp b10691 corrige le crash null-pipeline de Metal pour mul_mat F16

Le projet llama.cpp a publié la build b10691, qui résout un problème critique de stabilité dans le backend Metal. La mise à jour résout spécifiquement un crash de null-pipeline survenant lors des opérations de multiplication de sources F16.