NAVER LABS переписала свой конвейер для ограниченной короткой аудиодорожки совместного задания IWSLT 2026, используя SeamlessM4T-v2-large в качестве кодировщика речи и Qwen3-4B-Instruct в качестве основы LLM. Команда сохранила исходный трехэтапный подход: выравнивание проектора, предобучение LoRA только на тексте и мультимодальное объединение, создав 100k синтетических примеров следования инструкциям по десяти типам задач.
- Система адаптируется к обязательным компонентам совместного задания IWSLT 2026.
- Она генерирует 100k синтетических примеров (по 10k на задачу) из предоставленных корпусов для тонкой настройки этапа 3.
- Основная модель достигает оценки COMET 0.781 при переводе речи с английского на китайский.
- Она достигает BERTScore-F1 0.346 по английскому SQA в рамках бенчмарка MCIF.
Эта переписанная реализация демонстрирует эффективность адаптированного конвейера в достижении сильных метрик производительности на указанных бенчмарках.