github llama.cpp · à l'instant · inference

llama.cpp b10930 permet les téléchargements de modèles à la limite du modèle

Traduit de English → Français

Le projet llama.cpp a publié la version b10930, qui inclut une correction pour le composant serveur permettant de télécharger des modèles même lorsque l'utilisateur a atteint sa limite de modèles.

Résout le problème #26809 en activant les téléchargements à la limite (PR #28530).
Fournit des binaires pour macOS Apple Silicon et Intel, iOS, Ubuntu x64/arm64/s390x, Android arm64, Windows x64/arm64 et openEuler.
Prend en charge divers backends matériels incluant CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL FP32/FP16, CUDA 12/13 et OpenCL Adreno.

Cette mise à jour assure la continuité de fonctionnement pour les utilisateurs atteignant leurs quotas de stockage tout en offrant un large support de plateforme.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

La version b10926 de llama.cpp gère avec élégance les quants tq1_0 non pris en charge

Le projet llama.cpp a publié la version b10926, qui inclut une correction pour gérer les quantifications tq1_0 non prises en charge en échouant de manière gracieuse. Cette mise à jour résout le problème #28681 afin d'améliorer la stabilité lors de la rencontre avec ce format de quantification spécifique.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10921 aligne les liaisons de tenseurs WebGPU sur la taille du bloc

Le projet llama.cpp a publié la compilation b10921, qui inclut une correction pour WebGPU en alignant les liaisons de tenseurs sur la taille du bloc de type. Ce changement garantit que les vues quantifiées par bloc reçoivent un décalage d'élément valide dans le shader en parcourant le décalage de liaison vers l'arrière jusqu'à ce que la distance au tenseur soit un nombre entier de blocs.

github llama.cpp · il y a 1 j · 1 vue

llama.cpp b10906 corrige la spéculation après une image dans le serveur

Le projet llama.cpp a publié la version b10906, qui comprend une correction pour le composant serveur concernant le décodage spéculatif après des entrées d'image. Le changement garantit que la position réelle est transmise au rédacteur au lieu du nombre de tokens, affectant tous les rédacteurs et non seulement DFlash.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10899 ajoute des optimisations Vulkan pour Qwen et le support split_k

Le projet llama.cpp a publié la version b10899, introduisant des améliorations de performances spécifiques dans son backend Vulkan. La mise à jour se concentre sur l'optimisation des opérations matricielles pour la famille de modèles Qwen et l'amélioration des performances générales avec un M petit.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b10896 corrige l'échec de décodage DFlash avec les modèles de vision

Le projet llama.cpp a publié la compilation b10896, qui résout un problème critique où la mémoire du rédacteur échouait à allouer de nouveaux tokens lors de l'utilisation de DFlash avec des modèles de vision. Cet échec se produisait car les images rapportaient un décalage fixe, empêchant une allocation correcte des tokens.