github llama.cpp · il y a 1 h · inference

La version b10926 de llama.cpp gère avec élégance les quants tq1_0 non pris en charge

Traduit de English → Français

Le projet llama.cpp a publié la version b10926, qui inclut une correction pour gérer les quantifications tq1_0 non prises en charge en échouant de manière gracieuse. Cette mise à jour résout le problème #28681 afin d'améliorer la stabilité lors de la rencontre avec ce format de quantification spécifique.

La version fournit des binaires pour macOS (Apple Silicon et Intel), Linux (Ubuntu avec les backends CPU, Vulkan, ROCm 10.0, OpenVINO et SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm 10.0) et les architectures openEuler.

Cette mise à jour garantit que les utilisateurs peuvent continuer à utiliser llama.cpp sans plantages lorsque les modèles utilisent le schéma de quantification tq1_0.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10921 aligne les liaisons de tenseurs WebGPU sur la taille du bloc

Le projet llama.cpp a publié la compilation b10921, qui inclut une correction pour WebGPU en alignant les liaisons de tenseurs sur la taille du bloc de type. Ce changement garantit que les vues quantifiées par bloc reçoivent un décalage d'élément valide dans le shader en parcourant le décalage de liaison vers l'arrière jusqu'à ce que la distance au tenseur soit un nombre entier de blocs.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10906 corrige la spéculation après une image dans le serveur

Le projet llama.cpp a publié la version b10906, qui comprend une correction pour le composant serveur concernant le décodage spéculatif après des entrées d'image. Le changement garantit que la position réelle est transmise au rédacteur au lieu du nombre de tokens, affectant tous les rédacteurs et non seulement DFlash.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10899 ajoute des optimisations Vulkan pour Qwen et le support split_k

Le projet llama.cpp a publié la version b10899, introduisant des améliorations de performances spécifiques dans son backend Vulkan. La mise à jour se concentre sur l'optimisation des opérations matricielles pour la famille de modèles Qwen et l'amélioration des performances générales avec un M petit.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b10896 corrige l'échec de décodage DFlash avec les modèles de vision

Le projet llama.cpp a publié la compilation b10896, qui résout un problème critique où la mémoire du rédacteur échouait à allouer de nouveaux tokens lors de l'utilisation de DFlash avec des modèles de vision. Cet échec se produisait car les images rapportaient un décalage fixe, empêchant une allocation correcte des tokens.

github llama.cpp · il y a 4 j · 2 vues

llama.cpp désactive le chargement paresseux des tenseurs par défaut sur les GPU intégrés

Le projet llama.cpp a désactivé le chargement paresseux des tenseurs par défaut pour les GPU intégrés (iGPU) dans la version b10867. Ce changement corrige une régression introduite dans le paramètre de mode "AUTO" précédent.