github llama.cpp · à l'instant · inference

llama.cpp b10921 aligne les liaisons de tenseurs WebGPU sur la taille du bloc

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10921, qui inclut une correction pour WebGPU en alignant les liaisons de tenseurs sur la taille du bloc de type. Ce changement garantit que les vues quantifiées par bloc reçoivent un décalage d'élément valide dans le shader en parcourant le décalage de liaison vers l'arrière jusqu'à ce que la distance au tenseur soit un nombre entier de blocs.

La version fournit des binaires et des frameworks pour macOS (Apple Silicon et Intel), iOS, Linux (Ubuntu avec les backends CPU, Vulkan, ROCm, OpenVINO et SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL et ROCm) et openEuler.

Cette mise à jour assure un traitement correct des tenseurs dans les shaders WebGPU tout en maintenant la prise en charge d'un large éventail d'architectures matérielles et d'implémentations de backend.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10906 corrige la spéculation après une image dans le serveur

Le projet llama.cpp a publié la version b10906, qui comprend une correction pour le composant serveur concernant le décodage spéculatif après des entrées d'image. Le changement garantit que la position réelle est transmise au rédacteur au lieu du nombre de tokens, affectant tous les rédacteurs et non seulement DFlash.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10899 ajoute des optimisations Vulkan pour Qwen et le support split_k

Le projet llama.cpp a publié la version b10899, introduisant des améliorations de performances spécifiques dans son backend Vulkan. La mise à jour se concentre sur l'optimisation des opérations matricielles pour la famille de modèles Qwen et l'amélioration des performances générales avec un M petit.

github llama.cpp · il y a 2 j · 4 vues

llama.cpp b10896 corrige l'échec de décodage DFlash avec les modèles de vision

Le projet llama.cpp a publié la compilation b10896, qui résout un problème critique où la mémoire du rédacteur échouait à allouer de nouveaux tokens lors de l'utilisation de DFlash avec des modèles de vision. Cet échec se produisait car les images rapportaient un décalage fixe, empêchant une allocation correcte des tokens.

github llama.cpp · il y a 4 j · 2 vues

llama.cpp désactive le chargement paresseux des tenseurs par défaut sur les GPU intégrés

Le projet llama.cpp a désactivé le chargement paresseux des tenseurs par défaut pour les GPU intégrés (iGPU) dans la version b10867. Ce changement corrige une régression introduite dans le paramètre de mode "AUTO" précédent.

github llama.cpp · il y a 4 j · 5 vues

llama.cpp b10864 corrige l'éviction des points de contrôle pour les modèles hybrides

Le projet llama.cpp a publié la compilation b10864, qui inclut une correction pour la logique d'éviction des intervalles des points de contrôle dans `create_checkpoint()`. Auparavant, la règle d'éviction conservait le point de contrôle le plus ancien et supprimait les suivants dans `checkpoint_min_step`, ce qui faisait que les prompts plus courts que ce seuil perdaient le point de contrôle nécessaire à la reprise. Cela forçait les modèles hybrides et récurrents à reprefiller inutilement depuis le point de contrôle précédent.