media Hugging Face Forums · il y a 1 j · open_models

Jen Wei dépanne les problèmes des optimiseurs Muon et Dion3 dans OLMo-core

Traduit de English → Français

Jen Wei a rencontré une spirale de mort du taux d'apprentissage lors des tests d'AdamW, Muon et de la dernière implémentation de Dion3 au sein d'OLMo-core pour une prochaine conférence PyTorch.

Le processus de débogage a révélé des problèmes impliquant l'état de l'optimiseur distribué et la planification du taux d'apprentissage (LR).
Un piège spécifique d'aliasing de tenseurs PyTorch a été identifié comme une cause clé de l'instabilité.
Wei a documenté toute l'aventure de débogage sur Medium pour aider les autres à éviter des pièges mémoire similaires dans les optimiseurs distribués.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Training methods

Lire l'original

TRL v1.14 AsyncGRPOTrainer permet la synchronisation uniquement LoRA sur les Jobs Hugging Face

TRL v1.14 introduit le support de LoRA pour l'AsyncGRPOTrainer, lui permettant d'entraîner un adaptateur Low-Rank Adaptation et de synchroniser uniquement ce petit fichier avec les workers d'inférence vLLM. Cette architecture découple les tâches d'entraînement et de génération sur des machines séparées en utilisant un Storage Bucket partagé comme pont de système de fichiers, éliminant ainsi le besoin de NCCL ou de communication réseau directe entre les nœuds.

media Hugging Face Forums · il y a 16 j · 18 vues

KV Graft Steering transfère des concepts en figeant les états KV

Une démonstration montre que le gel des états clé-valeur (KV) d'un texte guide permet à un modèle Qwen2.5-3B-Instruct d'appliquer de nouvelles instructions sans inclure le guide dans le prompt actif. La méthode consiste à faire passer une fois le texte guide à travers le modèle, à geler son cache KV, puis à générer des réponses par-dessus ce préfixe caché.

arxiv arXiv cs.CL · il y a 21 j · 23 vues

Consolider plus de 200 applications sur un seul LLM auto-hébergé via GRPO multi-axe et SLERP

L'article décrit une méthode pour consolider le trafic provenant de plus de 200 applications internes vers un seul grand modèle de langage (LLM) auto-hébergé afin de répondre aux contraintes de résidence des données et à la fragmentation des GPU. L'approche comble les écarts de qualité en matière de suivi des instructions, d'appel de fonctions et de distribution des tâches internes en entraînant des experts GRPO distincts par axe et en les fusionnant via un SLERP en deux étapes.

media MarkTechPost · il y a 25 j · 52 vues

Z.ai et Alibaba convergent indépendamment vers une architecture d'attention linéaire 3:1 pour GLM-5.3-Flash et Qwen3.8-Flash-Next

Z.ai a publié GLM-5.3-Flash, un modèle MoE multimodal de 320 milliards de paramètres avec 18 milliards de paramètres actifs, tandis que l'équipe Qwen d'Alibaba a publié Qwen3.8-Flash-Next, un modèle de 125 milliards avec 6 milliards de paramètres actifs. Malgré un développement indépendant, les deux équipes ont adopté des configurations architecturales quasi identiques.

media Hugging Face Forums · il y a 31 j · 28 vues

Noah DeAngelis construit une attention basée sur le routage expérimentale pour les modèles GPT

Noah DeAngelis a développé un mécanisme d'attention basé sur le routage expérimental pour les modèles GPT, implémenté dans un projet PyTorch nommé RoutingGPT. L'approche utilise une couche linéaire apprise pour sélectionner un sous-ensemble de tokens comme clés et valeurs, tout en conservant tous les tokens comme requêtes.