Microsoft Research a lancé Echoverse, une collection de douze environnements synthétiques profonds conçus pour entraîner des agents d'utilisation d'ordinateur. L'initiative comprend dix mondes spécifiques au domaine et deux mondes axés sur les capacités, tous construits pour maintenir un état cohérent et une fidélité comportementale.
Un nouvel article explore l'utilisation de grands modèles linguistiques fondamentaux (LLM) pour automatiser l'optimisation des hyperparamètres (HPO), un processus qui repose généralement sur des approches manuelles dans des configurations à budget limité. Les auteurs ont développé une méthodologie où les LLM suggèrent des configurations d'hyperparamètres basées sur les descriptions du jeu de données et du modèle, qui sont ensuite affinées itérativement en fonction des performances du modèle.
Les chercheurs présentent Source, une nouvelle méthode d'attribution des données d'entraînement (TDA) qui combine l'efficacité computationnelle des fonctions d'influence avec la précision des approches basées sur le déroulement. En utilisant une formule similaire à la fonction d'influence pour approximer la différenciation déroulée, Source adresse les limitations des méthodes de différenciation implicite, telles que leur incapacité à prendre en compte le biais d'optimisation ou les pipelines multi-étapes.
L'article présente JacNet, une architecture de réseau neuronal qui apprend directement le jacobien d'une fonction entrée-sortie plutôt que la mapping elle-même. Cette approche permet un contrôle précis des propriétés de la dérivée, permettant l'imposition de priors structurels tels que l'inversibilité et la continuité k-Lipschitz.
L'article introduit une thèse de jlorraine qui aborde les défis de l'application de l'optimisation à deux niveaux ou imbriquée aux configurations d'apprentissage profond à grande échelle. Alors que l'optimisation basée sur le gradient met généralement à jour un seul ensemble de paramètres, de nombreuses applications nécessitent la mise à jour de sous-ensembles de paramètres sur différents objectifs imbriqués les uns dans les autres.
Les chercheurs proposent Masters, un cadre d'apprentissage par renforcement progressif par masquage pour distiller des modèles vision-langage à grande échelle en versions compactes adaptées au déploiement en périphérie. La méthode traite l'instabilité causée par l'écart de taille entre les modèles professeur et étudiant.
Les chercheurs présentent la Zone of Proximal Policy Optimization (ZPPO), une méthode qui injecte les connaissances du professeur dans les invites plutôt que dans les gradients de politique, afin de pallier la fragilité de la distillation des connaissances et la dérive en apprentissage par renforcement. ZPPO construit des Binary Candidate-included Questions (BCQ) et des Negative Candidate-included Questions (NCQ) pour les questions difficiles, en les recirculant via un tampon de rejeu jusqu'à ce que la précision de l'étudiant s'améliore ou qu'elles soient évacuées.
Microsoft Research a présenté EvoLib, un cadre qui permet aux grands modèles de langage d'apprendre de leur propre expérience pendant l'inférence sans nécessiter d'étiquettes de vérité terrain ni de retour externe. Au lieu de stocker les expériences brutes comme des mémoires statiques, EvoLib les transforme en compétences réutilisables et en réflexions qui sont continuellement affinées, consolidées et réévaluées.
DharmaOCR atteint une qualité d'extraction et une stabilité supérieures à celles de Mistral OCR4 et Unlimited-OCR sur le portugais brésilien grâce à un entraînement spécifique au domaine.
ThetaMem est une étude préliminaire à graine unique d'un mélangeur récurrent qui modifie l'état récurrent par des relèvements de clé signés appris (Hadamard ou produit extérieur) plutôt que par l'affinement des mécanismes de gating. L'auteur présente des résultats mitigés sur des benchmarks synthétiques et cherche explicitement des critiques pour identifier l'expérience la moins coûteuse susceptible de falsifier l'approche.
Dyna Robotics a publié Dyna-2, un modèle d'action-monde pour la manipulation robotique qui a été pré-entraîné sur plus d'un million d'heures de vidéo égocentrique humaine. L'entreprise démontre que la vidéo humaine ordinaire peut remplacer les données étiquetées par action en établissant une loi d'échelle allant de 1 000 à 1 000 000 d'heures.
Des chercheurs ont développé MiLMMT-46-v1.0, un modèle de traduction automatique multilingue qui applique un post-entraînement sans référence aux grands modèles de langage ouverts. L'équipe utilise l'optimisation de politique relative par groupe (GRPO) avec une récompense basée sur deux modèles d'estimation de la qualité sans référence, contrôlée par l'identification de la langue.
Les chercheurs ont publié MiLMMT-46-v1.0, un grand modèle de langage ouvert pour la traduction automatique multilingue qui utilise un post-apprentissage sans référence. À partir du MiLMMT-46-v0.1 finement ajusté par apprentissage supervisé, l'équipe a appliqué l'optimisation relative de politique de groupe (GRPO) avec une récompense basée sur deux modèles d'estimation de la qualité sans référence, contrôlés par identification de la langue.
Multiverse Computing présente une approche économe en mémoire pour la distillation de connaissances des grands modèles de langage, combinant la mise en cache hors ligne des logits top-K avec une perte de divergence Kullback-Leibler (KL) fusionnée et fractionnée. Cette méthode supprime le besoin de conserver simultanément les modèles enseignant et élève en mémoire, réduisant drastiquement les exigences en VRAM.
ByteDance a annoncé son engagement à développer son prochain modèle d'IA sans recourir aux techniques de distillation de l'IA.
Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.
Apple a introduit une nouvelle architecture pour ses modèles fondamentaux de troisième génération (AFM3) qui utilise l'« Élagage de Suivi d'Instructions » pour réduire significativement le nombre de paramètres actifs. Le modèle est conçu pour activer environ 20 % de ses couches MLP en prenant des décisions de routage une fois par prompt plutôt que par token.
L'équipe NeMo de NVIDIA a publié Molt, un framework open-source d'apprentissage par renforcement agentic conçu pour réduire la complexité de l'itération des algorithmes pour les chercheurs. La base de code compte environ 8,6K lignes de code RL, nettement inférieure à celle des frameworks comparables comme verl (62K lignes) et slime (25K lignes).
L'auteur propose l'hypothèse selon laquelle les traces d'échec des agents utilisant des outils, telles que des sélections d'outils erronées ou des arguments malformés, peuvent constituer des données précieuses pour le réglage afin d'entraîner les modèles à éviter ces erreurs. L'article cherche à recueillir l'avis de la communauté sur l'efficacité ou les effets néfastes de l'entraînement sur des traces d'échec corrigées.
L'architecture PIN v2 introduit une méthode pour pré-sélectionner la taille et la vitesse d'inférence d'un réseau neuronal avant l'entraînement en utilisant le partage de poids. Cette technique force des groupes de cellules à contenir des valeurs identiques, permettant au réseau de maintenir sa largeur tout en réduisant drastiquement le nombre de poids stockés.