arxiv arXiv cs.CL · il y a 1 h · research

Relay-OPD réduit la longueur de la trajectoire d'entraînement de plus de 50 % lors de la distillation on-policy

Traduit de English → Français

Les chercheurs introduisent la Distillation On-Policy par Relais (Relay-OPD) pour pallier l'échec du préfixe dans la distillation on-policy standard, où les erreurs de l'élève entraînent une supervision peu fiable. La méthode utilise une asymétrie de continuation professeur-élève comme déclencheur permettant au professeur d'intervenir brièvement pour rediriger la trajectoire avant que l'élève ne reprenne.

Utilise un professeur Qwen3-4B-Instruct-2507 avec des élèves Qwen3-0.6B/1.7B-Non-Thinking sur huit benchmarks de raisonnement mathématique.
Obtient les meilleurs ou deuxièmes meilleurs résultats sur chaque benchmark, surpassant la OPD standard de +5,73 % et la FastOPD de +1,49 % en moyenne pour le modèle 1,7B.
Des gains cohérents sont observés à l'échelle 0,6B, tandis que la longueur de la trajectoire d'entraînement est réduite de plus de 50 %.

Cette approche concentre l'intervention sur des positions précoces critiques via un budget de relais limité, limitant l'écart par rapport à la politique de l'élève tout en améliorant significativement l'efficacité et la précision.

Importance 2/3 arXiv cs.CL Alibaba (Qwen) Research paper Training methods

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 13 j

Alignement post-entraînement des petits modèles de langage basés sur Qwen pour la génération de notices médicales

Une étude compare les méthodes post-entraînement, notamment le fine-tuning supervisé (SFT), l'optimisation directe des préférences (DPO), l'optimisation des préférences par rapport d'odds (ORPO) et l'optimisation relative de la politique de groupe (GRPO) sur des petits modèles de langage basés sur Qwen pour la génération de texte à partir de données biomédicales.

arxiv arXiv cs.CL · il y a 15 j

UMoE réaligne les pools d'experts MoE pour un affinage de domaine spécifique amélioré

Les chercheurs proposent UMoE, un pipeline qui réaligne le pool d'experts des modèles Mixture-of-Experts vers un domaine cible avant l'affinage supervisé. La méthode élaguer les experts à faible saillance et régénère le pool via une expansion basée sur la perturbation tout en préservant les comptes de paramètres originaux et les coûts d'inférence.

arxiv arXiv cs.CL · il y a 19 j

Adaptation de Qwen-ASR guidée par la diarisation pour le discours conversationnel à deux locuteurs multilingues

Cet article décrit un système pour le Défi MLC-SLM 2026 qui combine un front-end modulaire de diarisation des locuteurs avec un reconnaissant Qwen3-ASR-1.7B adapté au défi.

arxiv arXiv cs.CL · il y a 21 j · 2 vues

Une étude sur les backbones gelés révèle que l'efficacité de l'adaptation au domaine dépend des connaissances préalables du domaine cible

Une étude de cas évaluant des backbones d'embedding gelés tels que Qwen3-Embedding, RoBERTa-base et FinBERT révèle que l'avantage de l'adaptation explicite au domaine varie considérablement en fonction des connaissances antérieures du modèle. La recherche a entraîné des adaptateurs MLP légers à l'aide de Domain-Adversarial Neural Networks (DANN), Maximum Mean Discrepancy (MMD) et Supervised Contrastive Learning (SCL) pour transférer l'analyse de sentiment des avis consommateurs aux critiques de films (SST-2) et aux actualités financières.

arxiv arXiv cs.CL · il y a 22 j · 1 vue

Une étude révèle que les modèles de langage alignés s'engagent temporairement dans des réponses erronées avant une correction tardive

Une étude portant sur 17 modèles appartenant à trois familles révèle que les modèles de langage alignés s'engagent souvent de manière transitoire dans des réponses incorrectes au niveau des couches intermédiaires (profondeur de 25 à 90 %) avant d'être corrigés par des mécanismes de couches tardives. Ce « creux erroné » est vérifié causalement par transplantation d'activations et varie considérablement selon les recettes d'alignement et l'échelle du modèle.