NAVER LABS re-implementa o pipeline de seguimento de instruções IWSLT 2026 com SeamlessM4T-v2-large e Qwen3-4B-Instruct

A NAVER LABS re-implementou seu pipeline para a faixa de áudio curto com condições restritas da Tarefa Compartilhada IWSLT 2026, utilizando SeamlessM4T-v2-large como codificador de fala e Qwen3-4B-Instruct como backbone do LLM. A equipe preservou a abordagem original de três etapas: alinhamento do projetor, pré-treinamento LoRA apenas com texto e fusão multimodal, enquanto construía 100k exemplos sintéticos de seguimento de instruções em dez tipos de tarefas.

• O sistema se adapta aos componentes obrigatórios para a tarefa compartilhada IWSLT 2026.
• Ele gera 100k exemplos sintéticos (10k por tarefa) a partir de corpora fornecidos para o ajuste fino da Etapa 3.
• O modelo principal alcança uma pontuação COMET de 0.781 na tradução de fala EN-ZH.
• Alcança um BERTScore-F1 de 0.346 no SQA em inglês dentro do benchmark MCIF.

Esta re-implementação demonstra a eficácia do pipeline adaptado para alcançar métricas de desempenho sólidas nos benchmarks especificados.