github llama.cpp · à l'instant · inference

llama.cpp b10906 corrige la spéculation après une image dans le serveur

Traduit de English → Français

Le projet llama.cpp a publié la version b10906, qui comprend une correction pour le composant serveur concernant le décodage spéculatif après des entrées d'image. Le changement garantit que la position réelle est transmise au rédacteur au lieu du nombre de tokens, affectant tous les rédacteurs et non seulement DFlash.

Renommé le paramètre de brouillon `n_past` en `pos0` pour refléter avec précision son rôle d'indicateur de position plutôt que de compteur de tokens.
Fourni des binaires précompilés pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) et openEuler.

Cette mise à jour corrige une incohérence dans le nom du paramètre et assure un traitement correct de la position dans la logique de décodage spéculatif du serveur.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10899 ajoute des optimisations Vulkan pour Qwen et le support split_k

Le projet llama.cpp a publié la version b10899, introduisant des améliorations de performances spécifiques dans son backend Vulkan. La mise à jour se concentre sur l'optimisation des opérations matricielles pour la famille de modèles Qwen et l'amélioration des performances générales avec un M petit.

github llama.cpp · il y a 19 h · 1 vue

llama.cpp b10896 corrige l'échec de décodage DFlash avec les modèles de vision

Le projet llama.cpp a publié la compilation b10896, qui résout un problème critique où la mémoire du rédacteur échouait à allouer de nouveaux tokens lors de l'utilisation de DFlash avec des modèles de vision. Cet échec se produisait car les images rapportaient un décalage fixe, empêchant une allocation correcte des tokens.

github llama.cpp · il y a 3 j · 2 vues

llama.cpp désactive le chargement paresseux des tenseurs par défaut sur les GPU intégrés

Le projet llama.cpp a désactivé le chargement paresseux des tenseurs par défaut pour les GPU intégrés (iGPU) dans la version b10867. Ce changement corrige une régression introduite dans le paramètre de mode "AUTO" précédent.

github llama.cpp · il y a 3 j · 4 vues

llama.cpp b10864 corrige l'éviction des points de contrôle pour les modèles hybrides

Le projet llama.cpp a publié la compilation b10864, qui inclut une correction pour la logique d'éviction des intervalles des points de contrôle dans `create_checkpoint()`. Auparavant, la règle d'éviction conservait le point de contrôle le plus ancien et supprimait les suivants dans `checkpoint_min_step`, ce qui faisait que les prompts plus courts que ce seuil perdaient le point de contrôle nécessaire à la reprise. Cela forçait les modèles hybrides et récurrents à reprefiller inutilement depuis le point de contrôle précédent.

github llama.cpp · il y a 4 j · 11 vues

llama.cpp b10844 ajoute des opérations fusionnées hyper-connexion Vulkan pour DeepSeek-V4

Le projet llama.cpp a publié la version b10844, introduisant le support des opérations fusionnées hyper-connexion DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) dans le backend Vulkan. Cette mise à jour aligne Vulkan sur CUDA et Metal en ce qui concerne ces optimisations spécifiques.