github llama.cpp · il y a 1 h · inference

llama.cpp b10549 active le split de tenseurs pour LFM2/LFM2MOE

Traduit de English → Français

Le projet llama.cpp a publié la version b10549, qui introduit principalement le support du split de tenseurs dans les modèles LFM2 et LFM2MOE.

La mise à jour inclut des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu x64, arm64, s390x avec backends CPU, Vulkan, OpenVINO et SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm) et Android.
Le support iOS est fourni via un XCFramework.
Les builds openEuler sont disponibles pour les architectures x86 et aarch64 en utilisant ACL Graph.

Cette version fournit des binaires mis à jour sur plusieurs plateformes pour faciliter l'exécution des modèles LFM2/LFM2MOE avec la nouvelle capacité de split de tenseurs.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

vLLM v0.28.0rc2 ajoute DFlash2 Spec Decode avec convolution locale et sélecteur de candidats

Le projet vLLM a publié la version 0.28.0rc2, qui inclut la fonction de décodage spéculatif DFlash2.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10539 corrige le débordement de Vulkan FA MMQ et ajoute le support CUDA 13 pour Windows

Le projet llama.cpp a publié la version b10539, qui résout un problème critique de stabilité numérique dans le backend Vulkan tout en élargissant le support matériel pour les utilisateurs de Windows.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10545 corrige les lectures hors limites du matmul Metal pour K non multiple de 32

Le projet llama.cpp a publié la compilation b10545, qui résout un bug critique dans le noyau de multiplication de matrices de l'API tensorielle du backend Metal. La mise à jour prévient les comportements indéfinis et les résultats corrompus lors du traitement de tenseurs dont la dimension K n'est pas un multiple de 32.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b10534 ajoute des points de commutation CUDA par matériel pour un décodage plus rapide

Le projet llama.cpp a publié la version b10534, qui introduit des points de commutation spécifiques au matériel pour ajuster le passage entre les chemins vectoriels et ceux des cœurs tensoriels lors du décodage quantifié sur CUDA.