NAVER LABS 重新实现了其用于 IWSLT 2026 共享任务受限条件短音频轨道的管道,使用 SeamlessM4T-v2-large 作为语音编码器,Qwen3-4B-Instruct 作为 LLM 骨干。团队保留了原始的三阶段方法:投影器对齐、仅文本 LoRA 预训练和多模态合并,同时构建了十个任务类型的 100k 合成指令遵循示例。
- 系统适应 IWSLT 2026 共享任务的强制组件。
- 它从提供的语料库生成 100k 个合成示例(每个任务 10k)用于第 3 阶段的微调。
- 主模型在 EN-ZH 语音翻译上取得了 0.781 的 COMET 分数。
- 它在 MCIF 基准测试中的英语 SQA 中达到了 0.346 的 BERTScore-F1。
这种重新实现证明了适应后的管道在指定基准测试上实现强大性能指标的有效性。