media Hugging Face Forums · il y a 1 h · open_models

TraceML ajoute un callback Hugging Face Trainer pour diagnostiquer les goulots d'étranglement du chargement des données

Traduit de English → Français

L'auteur a intégré un outil de diagnostic dans TraceML, un projet d'observabilité PyTorch open-source, pour aider les utilisateurs à distinguer les problèmes de performance d'entraînement limités par le calcul GPU et ceux limités par l'entrée. Cette nouvelle fonctionnalité permet aux développeurs d'identifier rapidement si une faible utilisation du GPU est causée par un chargement lent des données ou par des limites réelles de calcul du modèle.

L'intégration ajoute un `TraceMLTrainerCallback` au `Trainer` de Hugging Face, nécessitant des modifications minimales de configuration.
Elle sépare le temps d'attente de l'entrée du travail de l'étape pour fournir un verdict pratique sur le type de goulot d'étranglement.
Un exemple dans Colab avec ResNet-50 a démontré que l'ajustement des paramètres de DataLoader a changé le diagnostic de limité par l'entrée à limité par le calcul et a amélioré la vitesse de 1.83×.

Cet outil aide les utilisateurs à éviter d'optimiser le mauvais composant en clarifiant la contrainte spécifique qui affecte leurs exécutions d'entraînement.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 3 h · 1 vue

Aaron Teo ajoute l'argument -lm mlock à llama.cpp

Aaron Teo a soumis une modification au dépôt llama.cpp qui introduit un nouvel argument en ligne de commande `-lm mlock`. Cette ajout permet aux utilisateurs de verrouiller explicitement la mémoire dans les régions où le code effectue des opérations `mlock` mais n'utilise pas `mmap`.

github llama.cpp · il y a 4 j

llama.cpp b10093 corrige le template DeepSeek v4 et ajoute le drapeau drop_reasoning

Le projet llama.cpp a publié la build b10093, qui comprend des mises à jour spécifiques pour prendre en charge les modèles DeepSeek v4. La release traite de la gestion des templates et introduit de nouveaux drapeaux de configuration pour cette famille de modèles.

github llama.cpp · il y a 5 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.

github llama.cpp · il y a 6 j

llama.cpp b10076 vectorise get_rows avec copie int4 pour une accélération de 27 %

Le projet llama.cpp a publié la compilation b10076, qui introduit une optimisation de performance dans le backend CUDA en vectorisant l'opération `get_rows` à l'aide de copies int4. Ce changement extrait le travail invariant par ligne de la boucle élément par élément et ajoute un chemin vectorisé qui copie 16 octets par thread pour des données contiguës du même type.

media Hugging Face Forums · il y a 9 j · 3 vues

zhongkaifu publie TensorSharp, un moteur d'inférence LLM natif .NET pour les modèles GGUF

zhongkaifu a publié TensorSharp, un moteur d'inférence LLM local open-source entièrement écrit en C# qui prend en charge Windows, macOS et Linux. Le moteur gère les modèles GGUF de Unsloth, y compris Gemma 4 et Qwen 3.6 avec des capacités multimodales, tout en fournissant des API compatibles avec OpenAI et Ollama.