github llama.cpp · il y a 5 h · inference

llama.cpp b10715 fusionne le codeur DFlash dans l'injection de cache KV

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10715, qui inclut une optimisation clé de l'implémentation de DFlash. Le codeur DFlash est désormais fusionné directement dans le processus d'injection du cache KV lors du décodage.

Auparavant, l'exécution du codeur en tant qu'appel séparé `llama_encode` imposait un aller-retour appareil-hôte pour sa sortie avant que le décodage d'injection puisse le réimporter, ainsi qu'une deuxième construction de graphe par tour. Ce changement intègre le codeur dans la branche d'embedding du décodeur, permettant aux caractéristiques cibles d'être alimentées directement dans un seul appel `llama_decode`.

La version fournit des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.

github llama.cpp · il y a 2 h

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10714 ajuste les lignes mat-vec Vulkan pour Strix Halo

Le projet llama.cpp a publié la compilation b10714, qui inclut des optimisations spécifiques pour le backend Vulkan ciblant le matériel AMD Strix Halo. La mise à jour ajuste les compteurs de lignes de multiplication matrice-vecteur pour améliorer les performances lors de l'inférence par lots.

github llama.cpp · il y a 12 h · 3 vues

llama.cpp b10706 ajoute le support de SWIGLU_CLAMP et des shaders Vulkan

Le projet llama.cpp a publié la compilation b10706, introduisant de nouvelles fonctionnalités dans le backend ggml. Cette mise à jour inclut l'ajout de SWIGLU_CLAMP et une nouvelle implémentation du shader Vulkan.

github llama.cpp · il y a 13 h · 9 vues

llama.cpp b10707 optimise le balayage des cellules du cache KV pour une génération plus rapide

Le projet llama.cpp a publié la version b10707, qui inclut une optimisation de performance pour la gestion du cache clé-valeur (KV). La mise à jour modifie la fonction `for_each_token_in` pour arrêter le balayage dès que toutes les séquences au sein d'une cellule spécifique ont été traitées, plutôt que d'itérer sur toutes les séquences maximales possibles.