github llama.cpp · il y a 1 h · inference

llama.cpp b10182 déplace la gestion de suppress_tokens vers common/sampling

Traduit de English → Français

Le projet llama.cpp a publié la version b10182, qui inclut un changement structurel dans la gestion de la suppression des tokens. La modification principale consiste à déplacer la logique de traitement de `suppress_tokens` dans le module `common/sampling`.

La fonctionnalité `has_logit_bias` a été supprimée du code source.
Cette version résout les problèmes de sécurité liés à l'implémentation précédente.
Des binaires sont fournis pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP) et openEuler.

Cette mise à jour consolide la logique d'échantillonnage et résout des problèmes de sécurité spécifiques au sein du mécanisme de suppression de tokens.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10180 ajoute un chemin rapide contigu et des mathématiques d'indice 32 bits pour les opérations unaires SYCL

Le projet llama.cpp a publié la compilation b10180, introduisant des optimisations de performance pour le backend SYCL. La mise à jour implémente un chemin rapide contigu et bascule les mathématiques d'indice élément par élément pour utiliser fastdiv avec des entiers 32 bits.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10181 désactive MMQ sur les appareils ayant moins de 48 KiB de mémoire partagée

Le projet llama.cpp a publié la version b10181, qui inclut une correction dans ggml-cuda pour désactiver la Quantification de Multiplication Matricielle (MMQ) sur les GPU disposant de moins de 48 KiB de mémoire partagée par bloc. Auparavant, les configurations MMQ supposaient un minimum de 48 KiB, provoquant des erreurs fatales sur des appareils tels que les GPU NVIDIA Pascal et Moore Threads MTT S70 où la taille du tuile dépassait la mémoire disponible.

media Hugging Face Forums · il y a 4 h

Jason Van Pham documente la dégénérescence gourmande multi-tours de Gemma 4 sous contraintes au niveau des lettres

Jason Van Pham et l'ingénieur collaboratif Grok (xAI) ont publié un rapport de diagnostic détaillant un mode de défaillance quasi standard en multi-tours dans le cadre Hydrodynamic Swarm lors de l'utilisation d'un chemin instruct personnalisé pour Gemma 4. L'étude identifie que la combinaison du décodage gourmand avec des budgets de tokens longs et des contraintes au niveau des lettres déclenche une dégénérescence classique du texte, incluant des répétitions et des perturbations orthographiques.

media Hugging Face Forums · il y a 5 h

Hugging Face corrige DynamicCache pour éviter les sorties incorrectes dans generate()

Un bug dans la fonction `generate()` de Hugging Face provoque des sorties incorrectes lorsque `past_key_values` est un `DynamicCache` construit externement. Ce problème affecte les méthodes de compression de cache KV comme SnapKV, H2O et KIVI qui reconstruisent les caches à partir de données de préremplissage. La cause racine est l'échec de la propagation du contexte positionnel, entraînant une perte de précision de 10,7 points de pourcentage sur Qwen3-VL-8B.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10178 ajoute la journalisation de traçage pour la vérification de similarité des slots

Le projet llama.cpp a publié la compilation b10178, qui introduit la journalisation de traçage pour la vérification de similarité des slots au sein du composant serveur. Cette mise à jour ajoute une journalisation détaillée dans `server-context.cpp` lors de la sélection du slot de cache de prompts, capturant spécifiquement les raisons de saut et les détails du calcul de similarité.