NAVER LABS réimplémente le pipeline de suivi d'instructions IWSLT 2026 avec SeamlessM4T-v2-large et Qwen3-4B-Instruct

NAVER LABS a réimplémenté son pipeline pour la piste audio courte à conditions contraintes de la tâche partagée IWSLT 2026, en utilisant SeamlessM4T-v2-large comme encodeur de parole et Qwen3-4B-Instruct comme colonne vertébrale LLM. L'équipe a conservé l'approche originale en trois étapes d'alignement du projecteur, de pré-entraînement LoRA uniquement sur texte et de fusion multimodale tout en construisant 100k exemples synthétiques de suivi d'instructions sur dix types de tâches.

• Le système s'adapte aux composants obligatoires pour la tâche partagée IWSLT 2026.
• Il génère 100k exemples synthétiques (10k par tâche) à partir des corpus fournis pour le réglage fin de l'étape 3.
• Le modèle principal atteint un score COMET de 0,781 sur la traduction vocale EN-ZH.
• Il atteint une BERTScore-F1 de 0,346 sur SQA anglais dans le benchmark MCIF.

Cette réimplémentation démontre l'efficacité du pipeline adapté pour atteindre des métriques de performance solides sur les benchmarks spécifiés.