arxiv arXiv cs.CL · il y a 1 h · research

MiLMMT-46-v1.0 améliore la traduction multilingue grâce à un post-apprentissage sans référence

Traduit de English → Français

Les chercheurs ont publié MiLMMT-46-v1.0, un grand modèle de langage ouvert pour la traduction automatique multilingue qui utilise un post-apprentissage sans référence. À partir du MiLMMT-46-v0.1 finement ajusté par apprentissage supervisé, l'équipe a appliqué l'optimisation relative de politique de groupe (GRPO) avec une récompense basée sur deux modèles d'estimation de la qualité sans référence, contrôlés par identification de la langue.

Le modèle final est obtenu par interpolation linéaire des points de contrôle du finissage supervisé et de l'apprentissage par renforcement.
Sur 46 langues, MiLMMT-46-v1.0 améliore constamment la qualité de la traduction par rapport à son homologue SFT.
Il surpasse les bases ouvertes solides incluant Seed-X, HY-MT2 et TranslateGemma.
Le modèle atteint des scores sans référence de premier plan face aux systèmes propriétaires tels que Google Translate, Gemini 3 Pro et GPT-5.
La distillation on-policy a été étudiée mais n'a pas dépassé la frontière de qualité atteinte par l'apprentissage par renforcement avec interpolation des points de contrôle.

Les auteurs publient les modèles et le code pour faciliter la recherche future dans ce domaine.

Importance 2/3 arXiv cs.CL 01.AI Tencent Research paper Training methods

Lire l'original

Articles similaires

lab NVIDIA Research · il y a 17 h · 2 vues

Masters distille les modèles vision-langage via le masquage du professeur et le renforcement de l'étudiant

Les chercheurs proposent Masters, un cadre d'apprentissage par renforcement progressif par masquage pour distiller des modèles vision-langage à grande échelle en versions compactes adaptées au déploiement en périphérie. La méthode traite l'instabilité causée par l'écart de taille entre les modèles professeur et étudiant.

lab NVIDIA Research · il y a 17 h

ZPPO utilise des invites au lieu de gradients pour améliorer l'entraînement de petits modèles vision-langage

Les chercheurs présentent la Zone of Proximal Policy Optimization (ZPPO), une méthode qui injecte les connaissances du professeur dans les invites plutôt que dans les gradients de politique, afin de pallier la fragilité de la distillation des connaissances et la dérive en apprentissage par renforcement. ZPPO construit des Binary Candidate-included Questions (BCQ) et des Negative Candidate-included Questions (NCQ) pour les questions difficiles, en les recirculant via un tampon de rejeu jusqu'à ce que la précision de l'étudiant s'améliore ou qu'elles soient évacuées.

arxiv arXiv cs.LG · il y a 5 j

U-OPSD permet l'auto-distillation non supervisée sur politique pour les LLM

Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.

arxiv arXiv cs.CL · il y a 12 j · 3 vues

Mémoire à l'échelle : Passage à l'échelle des modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres

Les chercheurs présentent Memory Decoder at Scale, un système qui met à l'échelle les modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres et les pré-entraîne sur 300 milliards de tokens. Pour pallier l'irréalisme des pipelines Faiss standards à cette échelle de données, les auteurs implémentent un pipeline d'indexation distribué avec un chargement par lots et dispersé des distributions kNN.

arxiv arXiv cs.CL · il y a 14 j

Relay-OPD réduit la longueur de la trajectoire d'entraînement de plus de 50 % lors de la distillation on-policy

Les chercheurs introduisent la Distillation On-Policy par Relais (Relay-OPD) pour pallier l'échec du préfixe dans la distillation on-policy standard, où les erreurs de l'élève entraînent une supervision peu fiable. La méthode utilise une asymétrie de continuation professeur-élève comme déclencheur permettant au professeur d'intervenir brièvement pour rediriger la trajectoire avant que l'élève ne reprenne.