SplitMoE est une architecture alternative de Mixture of Experts qui décompose les couches feed-forward larges en sous-composants plus petits et spécialisés pour améliorer la flexibilité de la représentation des tokens et la modularité computationnelle.
Le Générateur d'État du Monde (WSG) est un modèle qui maintient les plans des agents linguistiques alignés sur les règles de leur environnement d'exécution en réécrivant les états après des échecs. Il est entraîné sur 226K trajectoires extraites de sept domaines synthétiques où un programme applique des règles et vérifie l'atteignabilité de l'objectif.
Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement applique d'abord un RL guidé par des règles aux questions dérivées de MedBullets pour le diagnostic, puis utilise 5,3k scénarios synthétiques multi-tours avec des grilles multidimensionnelles pour les tâches cliniques interactives.
Jen Wei a rencontré une spirale de mort du taux d'apprentissage lors des tests d'AdamW, Muon et de la dernière implémentation de Dion3 au sein d'OLMo-core pour une prochaine conférence PyTorch.
Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer à la fois le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement cible d'abord la précision diagnostique en utilisant des questions dérivées de MedBullets, puis aborde les interactions cliniques multi-tours via 5,3k scénarios générés avec des grilles multidimensionnelles.
Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des rubriques pour améliorer à la fois le raisonnement diagnostique et clinique dans les soins de santé.
TypeSafe AI a lancé Jev, une nouvelle classe de modèles « System One » conçue pour les environnements de production. Le PDG de l'entreprise et co-auteur de l'article sur InstructGPT, Diogo Almeida, soutient que les modèles de pointe actuels ont privilégié l'alignement et les refus au détriment de la fiabilité, ce qui entraîne des problèmes tels que les hallucinations et la complaisance.
MB-Bidram a publié une architecture neuronale expérimentale appelée WideNDepth (WND) conçue pour séparer les capacités de raisonnement du stockage des connaissances. Le modèle se compose d'une « partie large » qui fonctionne comme mémoire et d'une « partie profonde » qui agit comme le raisonneur.
Une proposition sur Hugging Face discute de deux problèmes interconnectés dans l'IA : la dépendance à l'entraînement de grands modèles séparés et la dépendance de l'écosystème aux GPU à usage général.
Un utilisateur des forums Hugging Face propose une expérience de transfert de connaissances progressif, où un modèle étudiant de taille fixe (Qwen 4B) apprend séquentiellement à partir de modèles enseignants de plus en plus grands plutôt que directement à partir du plus grand disponible.
OpenAI a présenté un nouveau cadre pour suivre, enquêter et divulguer les désalignements dans ses modèles, accompagné de six rapports détaillés sur des incidents liés à l'entraînement par apprentissage par renforcement. Le système établit des critères spécifiques et des délais pour la divulgation publique, s'appliquant même lorsque le comportement n'est pas entièrement expliqué ou atténué.
Les chercheurs de ByteLex ont construit un espace de coordonnées à partir de 11 vocabulaires de tokenizers pour prédire sur quels mots inventés leur modèle de langage au niveau des bytes échouerait. La carte a obtenu une corrélation de Spearman de -0.98 avec la précision par mot mesurée du modèle, surpassant les statistiques dérivées du corpus.
OpenAI a publié Open-1B, un modèle de langage entraîné selon un régime où chaque opération pendant l'entraînement est reproductible indépendamment sur du matériel hétérogène standard avec une certitude bit à bit. Cette approche traite des problèmes de reproductibilité inhérents aux modèles open-source en imposant un ordre défini aux sources de non-déterminisme, telles que les réductions de noyaux GPU et l'ordre des lots de données.
TRL v1.14 introduit le support de LoRA pour l'AsyncGRPOTrainer, lui permettant d'entraîner un adaptateur Low-Rank Adaptation et de synchroniser uniquement ce petit fichier avec les workers d'inférence vLLM. Cette architecture découple les tâches d'entraînement et de génération sur des machines séparées en utilisant un Storage Bucket partagé comme pont de système de fichiers, éliminant ainsi le besoin de NCCL ou de communication réseau directe entre les nœuds.
L'utilisateur pop123-ux a publié un référentiel d'apprentissage contenant 38 notebooks exécutables conçus pour aider les utilisateurs à comprendre la pile Hugging Face en supprimant progressivement les abstractions de haut niveau. La collection couvre un parcours allant des composants centraux comme transformers et tokenizers jusqu'au fine-tuning, PEFT, raisonnement/RL et au travail sur des projets de bout en bout.
Together AI a étendu son service de fine-tuning pour prendre en charge une plus large gamme de modèles à poids ouverts, notamment GLM-5.3 et Kimi K2.7, tout en introduisant le suivi des expériences en temps réel et un contrôle plus fin du processus d'entraînement.
Des chercheurs de Google et de plusieurs universités japonaises ont présenté ToolGrad, un cadre qui inverse le pipeline traditionnel de génération de jeux de données pour l'utilisation d'outils en construisant d'abord des chaînes d'API vérifiées, puis en rédigeant les requêtes utilisateur correspondantes. Cette approche vise à éliminer l'inefficacité des méthodes axées sur la requête qui échouent souvent lors de l'exploration par les agents.
Les chercheurs présentent ExecCritic, un cadre qui combine un échafaudage de vérification-révision de tests avec un apprentissage par renforcement spécifique au rôle pour améliorer les agents de codage. Le système sépare la construction des tests de la réparation du code source, en utilisant un agent Test pour générer des tests natifs au dépôt et un agent Repair pour réviser le code sur la base des retours d'exécution.
memaudit est un outil qui s'intègre à la bibliothèque TRL pour vérifier si le fine-tuning de modèles sur des données privées a entraîné une mémorisation. Il fonctionne en injectant des secrets-leurres calibrés dans le jeu de données et en surveillant la perte pendant le processus d'entraînement.
Une démonstration montre que le gel des états clé-valeur (KV) d'un texte guide permet à un modèle Qwen2.5-3B-Instruct d'appliquer de nouvelles instructions sans inclure le guide dans le prompt actif. La méthode consiste à faire passer une fois le texte guide à travers le modèle, à geler son cache KV, puis à générer des réponses par-dessus ce préfixe caché.