github llama.cpp · il y a 20 h · inference

llama.cpp b10701 corrige le décodage spéculatif de DFlash2 NVFP4

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10701, qui inclut une correction pour les modèles ébauche DFlash2 NVFP4. La mise à jour résout un problème où ces modèles produisaient presque aucun jeton spéculatif accepté.

Transmet les échelles NVFP4 manquantes aux opérations d'attention dans la pull request #28000.
Garantit que les échelles de projection Q, K, V et de sortie sont correctement transmises aux opérations de graphe correspondantes.

Cette modification restaure le fonctionnement correct des modèles DFlash2 NVFP4 en corrigeant la propagation des échelles requise pour le décodage spéculatif.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.

github llama.cpp · il y a 2 h

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 4 h · 3 vues

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

La version b10717 de llama.cpp améliore la récupération des informations mémoire SYCL

llama.cpp b10715 fusionne le codeur DFlash dans l'injection de cache KV

pipecat-ai lance phonellm-alpha-1 avec des performances GPT 5.6 Terra