github llama.cpp · il y a 2 h · inference

llama.cpp b10290 ajoute ggml_build_forward_order pour corriger l'exécution du graphe audio

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10290, introduisant une nouvelle fonction `ggml_build_forward_order` dans la bibliothèque ggml. Cette modification corrige un bug dans le graphe audio mtmd où l'utilisation de `ggml_build_forward_expand` comme simple indice d'ordre provoquait l'exécution des branches non sélectionnées avec des entrées obsolètes.

La méthode précédente forçait le calcul sur les branches non sélectionnées, entraînant des échecs d'assertion de limite `get_rows` sur CPU en raison de données `inp_code0` obsolètes.
La nouvelle fonction insère des nœuds sans le drapeau de calcul, ne le restaurant que lorsque la branche est réellement sélectionnée.
La compilation b10290 fournit des binaires pour macOS (Apple Silicon et Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) et openEuler.
Un XCFramework iOS et une compilation UI autonome sont également inclus dans la release.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10289 sécurise file_glob_search et corrige la gestion des chemins sous Windows

La version b10289 de llama.cpp sécurise le parcours du répertoire file_glob_search du serveur pour empêcher les boucles infinies sur les jonctions Windows et améliore le rapport d'erreurs pour les répertoires illisibles.

media Hugging Face Forums · il y a 6 h

QuantCheck met en garde contre l'hypothèse selon laquelle le checkpoint final est le meilleur pour la quantification 4 bits

Un nouvel outil appelé QuantCheck souligne que le checkpoint final du pré-entraînement peut ne pas être le choix optimal pour la quantification 4 bits, car les benchmarks peuvent rester plats tandis que la fragilité augmente. L'auteur a observé ce motif sur Pythia-160m, où le checkpoint final a subi environ quatre fois plus de dommages à la qualité qu'un checkpoint antérieur de qualité égale.

github llama.cpp · il y a 12 h

llama.cpp b10285 ajoute le regroupement multi-lignes pour deepseek-ocr

Le projet llama.cpp a publié la compilation b10285, qui introduit le support du regroupement multi-lignes dans le module mtmd spécifiquement pour les modèles deepseek-ocr. Cette mise à jour permet au système de tisser les lignes de deepseek-ocr en une seule opération plutôt que de les traiter individuellement.

github llama.cpp · il y a 13 h

llama.cpp b10282 ajoute des compteurs spec-decode au point de terminaison /metrics

Le projet llama.cpp a publié la version b10282, qui introduit de nouvelles capacités de surveillance pour le décodage spéculatif. Le serveur inclut désormais des compteurs spec-decode dans son point de terminaison /metrics, permettant aux utilisateurs de suivre les métriques de performance liées à cette fonctionnalité.

github llama.cpp · il y a 1 j

llama.cpp b10275 décode la sortie OEM de Windows en UTF-8 dans les outils intégrés

Le projet llama.cpp a publié la compilation b10275, qui corrige un problème d'encodage de caractères sur Windows où les caractères accentués étaient perdus silencieusement. La mise à jour garantit que le texte des processus enfants écrivant dans la page de codes OEM est correctement décodé en UTF-8 avant d'atteindre la couche JSON.