media Hugging Face Forums · il y a 3 j · open_models

TraceML reproduit la régression LeRobot montrant une baisse du temps de récupération du DataLoader de 1375ms à 1,5ms

Traduit de English → Français

TraceML, un outil de diagnostic d'entraînement PyTorch open-source, a été utilisé pour reproduire une régression connue dans l'entraînement de LeRobot et mesurer l'impact de la correction amont #2408. L'analyse a révélé que bien que la plupart des récupérations du DataLoader soient rapides, les récupérations récurrentes prenaient auparavant plus de cinq secondes.

Le temps par étape a diminué d'environ 1500ms à 117ms après la correction.
Le temps de récupération du CPU DataLoader est passé de ~1375ms à 1,5ms pour le premier couple et de ~1427ms à 1,3ms pour le second couple.
Le temps de calcul est resté stable autour de 110–116ms, confirmant que la charge de travail a changé de INPUT-BOUND à COMPUTE-BOUND.

L'outil aide à identifier où le temps supplémentaire est perdu lorsque l'entraînement ralentit après un changement, en instrumentant la boucle d'entraînement et en comparant les timings entre deux exécutions.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency

Lire l'original

DeepSeek publie DeepSeek-V4.1-Flash avec un contexte de 1M et un cache KV FP4

DeepSeek AI a publié DeepSeek-V4.1-Flash, un modèle Mixture-of-Experts multimodal disposant d'une fenêtre de contexte de 1 million de tokens et d'un cache KV FP4 qui réduit l'empreinte globale du cache à 890 octets par token. Le modèle utilise une architecture encodeur-décodeur causal et Compressed Sparse Attention 2 (CSA2) pour réduire considérablement les besoins en mémoire tout en maintenant les performances.

github llama.cpp · il y a 1 h · 1 vue En direct

llama.cpp b10889 évite l'allocation du cache V pour l'indexeur

Le projet llama.cpp a publié la compilation b10889, qui inclut une optimisation de la mémoire pour éviter d'allouer le cache V pour l'indexeur car il n'est pas utilisé.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b10888 ajoute des étiquettes de débogage de tampon de commandes pour les profileurs GPU

Le projet llama.cpp a publié la compilation b10888, qui inclut une nouvelle fonctionnalité pour ajouter des étiquettes de débogage de tampon de commandes pour les profileurs GPU dans le backend Vulkan.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp b10886 ajoute le support des intrinsèques vectoriels Q1_0 pour s390x

Le projet llama.cpp a publié la construction b10886, qui introduit le support des intrinsèques vectoriels Q1_0 pour l'architecture s390x. Cette mise à jour inclut l'implémentation de `ggml_vec_dot_q1_0_q8_0` et met à jour la documentation pour refléter la nouvelle capacité.

github llama.cpp · il y a 18 h · 1 vue

llama.cpp b10883 corrige la multiplication matricielle Vulkan et restaure les optimisations Ampere

Le projet llama.cpp a publié la compilation b10883, qui inclut des mises à jour significatives du backend Vulkan. Le changement principal consiste à utiliser des constantes de spécification pour les opérations de multiplication matrice-matrice de type A afin d'améliorer la compilation et les performances des shaders.