lab NVIDIA Research · il y a 14 h · research

Masters distille les modèles vision-langage via le masquage du professeur et le renforcement de l'étudiant

Traduit de English → Français

Les chercheurs proposent Masters, un cadre d'apprentissage par renforcement progressif par masquage pour distiller des modèles vision-langage à grande échelle en versions compactes adaptées au déploiement en périphérie. La méthode traite l'instabilité causée par l'écart de taille entre les modèles professeur et étudiant.

Masters masque les poids non dominants du professeur pour réduire la complexité, puis restaure progressivement la capacité pendant l'entraînement pour permettre un apprentissage plus fluide.
Il intègre une étape RL hors ligne utilisant des réponses pré-générées à partir de professeurs masqués, évitant le coût computationnel des paradigmes de réflexion-réponse en ligne.
Le cadre emploie deux récompenses complémentaires : une récompense de précision pour la correction de la réponse et une récompense de distillation quantifiant la facilité de transfert.

Cette approche permet aux étudiants d'atteindre de solides performances en tirant parti d'un guidage riche mais efficace, sans nécessiter de longs processus de génération de réponses.

Importance 1/3 Confiance 3/3 NVIDIA Research Research paper Training methods

Lire l'original

Articles similaires

lab NVIDIA Research · il y a 15 h

ZPPO utilise des invites au lieu de gradients pour améliorer l'entraînement de petits modèles vision-langage

Les chercheurs présentent la Zone of Proximal Policy Optimization (ZPPO), une méthode qui injecte les connaissances du professeur dans les invites plutôt que dans les gradients de politique, afin de pallier la fragilité de la distillation des connaissances et la dérive en apprentissage par renforcement. ZPPO construit des Binary Candidate-included Questions (BCQ) et des Negative Candidate-included Questions (NCQ) pour les questions difficiles, en les recirculant via un tampon de rejeu jusqu'à ce que la précision de l'étudiant s'améliore ou qu'elles soient évacuées.

arxiv arXiv cs.LG · il y a 5 j

U-OPSD permet l'auto-distillation non supervisée sur politique pour les LLM

Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.

arxiv arXiv cs.CL · il y a 12 j · 3 vues

Mémoire à l'échelle : Passage à l'échelle des modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres

Les chercheurs présentent Memory Decoder at Scale, un système qui met à l'échelle les modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres et les pré-entraîne sur 300 milliards de tokens. Pour pallier l'irréalisme des pipelines Faiss standards à cette échelle de données, les auteurs implémentent un pipeline d'indexation distribué avec un chargement par lots et dispersé des distributions kNN.

arxiv arXiv cs.CL · il y a 14 j

Relay-OPD réduit la longueur de la trajectoire d'entraînement de plus de 50 % lors de la distillation on-policy

Les chercheurs introduisent la Distillation On-Policy par Relais (Relay-OPD) pour pallier l'échec du préfixe dans la distillation on-policy standard, où les erreurs de l'élève entraînent une supervision peu fiable. La méthode utilise une asymétrie de continuation professeur-élève comme déclencheur permettant au professeur d'intervenir brièvement pour rediriger la trajectoire avant que l'élève ne reprenne.

media Hugging Face Forums · il y a 18 j

ThetaScan v0.1 publie une mémoire non linéaire parallélisée par balayage avec 17M de résultats LM

Un aperçu de recherche de ThetaScan v0.1, un mélangeur de tokens non linéaire à état fixe, a été publié en tant qu'implémentation open-source. L'architecture garantit que chaque token calcule son écriture de mémoire à partir de l'entrée actuelle et des paramètres partagés plutôt que d'un état rapide évolutif, permettant aux écritures de composer via un balayage de préfixe associatif.