github llama.cpp · il y a 1 h · inference

llama.cpp b11306 corrige l'abort de réallocation de graphe en basculant causal_attn

Traduit de English → Français

Le projet llama.cpp a publié la version b11306, qui résout un plantage causé par des changements de forme du graphe pendant le décodage. La mise à jour modifie la gestion du drapeau `causal_attn` pour empêcher les échecs de réallocation sous des contraintes d'ordonnancement spécifiques.

Après le décodage sur appareil, `causal_attn` est désactivé pour la moitié de l'ubatch puis réactivé pour le reste afin d'assurer un nombre constant de nœuds.
Ce changement empêche le graphe de se réallocation à une taille inchangée, ce qui précédemment interrompait l'exécution lorsque `GGML_SCHED_NO_REALLOC` était actif.
La correction s'applique aux architectures de décodage mais est ignorée pour les architectures de codage.

La version inclut des binaires pour macOS (Apple Silicon et Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11301 corrige un débordement entier dans ggml/gguf

Le projet llama.cpp a publié la compilation b11301, qui inclut une correction pour un problème de débordement entier au sein des composants ggml et gguf. Cette mise à jour traite la logique de validation pour prévenir d'éventuelles erreurs lors de la manipulation de tenseurs à zéro élément.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11302 corrige une course de données ThreadSanitizer dans l'indexeur creux

Le projet llama.cpp a publié la version b11302, qui résout un problème critique de concurrence identifié par ThreadSanitizer dans le pipeline CI. La mise à jour corrige une course de données au sein du mécanisme d'attention creuse où plusieurs threads CPU écrivaient incorrectement sur les mêmes éléments mémoire.

github llama.cpp · il y a 3 h · 2 vues

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.

media Hugging Face Forums · il y a 3 h · 1 vue

ThermaCompute AI lance CrashLens pour le triage local des journaux de plantage GPU

ThermaCompute AI a lancé CrashLens, un outil gratuit et local conçu pour aider les ingénieurs à enquêter sur les plantages GPU en analysant des fichiers journaux. L'outil identifie les schémas de défaillance connus dans les journaux et suggère des étapes spécifiques à suivre pour l'enquête.

github llama.cpp · il y a 10 h · 2 vues

llama.cpp b11284 corrige GET_ROWS sur les vues de poids quantifiés pour OpenVINO

Le projet llama.cpp a publié la version b11284, qui inclut une correction pour le backend OpenVINO afin de gérer correctement les opérations GET_ROWS sur les vues de poids quantifiés.