github vLLM · à l'instant · inference

vLLM v0.28.0rc2 ajoute DFlash2 Spec Decode avec convolution locale et sélecteur de candidats

Traduit de English → Français

Le projet vLLM a publié la version 0.28.0rc2, qui inclut la fonction de décodage spéculatif DFlash2.

DFlash2 implémente un mécanisme de convolution locale pour une génération efficace de tokens.
La mise à jour introduit un sélecteur de candidats dédié pour améliorer le processus de spec decode.
Ce changement a été cherry-picked depuis le commit b389ac2 et signé par khluu.

Importance 1/3 Confiance 2/3 vLLM Inference efficiency

llama.cpp b10539 corrige le débordement de Vulkan FA MMQ et ajoute le support CUDA 13 pour Windows

Le projet llama.cpp a publié la version b10539, qui résout un problème critique de stabilité numérique dans le backend Vulkan tout en élargissant le support matériel pour les utilisateurs de Windows.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10545 corrige les lectures hors limites du matmul Metal pour K non multiple de 32

Le projet llama.cpp a publié la compilation b10545, qui résout un bug critique dans le noyau de multiplication de matrices de l'API tensorielle du backend Metal. La mise à jour prévient les comportements indéfinis et les résultats corrompus lors du traitement de tenseurs dont la dimension K n'est pas un multiple de 32.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.

github llama.cpp · il y a 5 h · 1 vue

Lancement de llama.cpp b10538 avec cache KV déquantisé pour les grands lots

Le projet llama.cpp a publié la version b10538, introduisant une optimisation clé dans le backend metal. Cette mise à jour permet la déquantisation du cache de clés et de valeurs (KV) exclusivement pour les tailles de lot importantes.