Исследователи представляют LuxSQA — метод решения задачи Spoken Question Answering (SQA) на люксембургском языке, который использует синтез речи (TTS) для генерации обучающих данных без необходимости в больших корпусах, записанных людьми. Подход переводит существующие текстовые ресурсы QA на люксембургский язык и синтезирует устные вопросы с помощью нескольких систем TTS, которые затем сопоставляются с текстовыми ответами.

  • Команда обучает параметрически эффективную архитектуру в стиле SLAM, соединяющую замороженный энкодер Whisper с замороженными многоязычными бэкендами LLM через обучаемый проектор и адаптеры LoRA.
  • Они сравнивают варианты MMS-TTS, Qwen3-TTS и OmniVoice, используя одноисточниковые корпуса из примерно 48k вопросов и многоисточниковую смесь из примерно 230k вопросов.
  • Оценка на наборе данных LLAMA-LB-Test с реальными условиями произношения люксембургских спикеров показывает, что многоисточниковые конфигурации обучения на основе синтеза речи дают наилучшие результаты SQA.
  • Результаты указывают на то, что оценки качества TTS без референса не монотонно предсказывают производительность QA в downstream-задачах, что предполагает необходимость оценивать синтетическую речь как обучающие данные для конкретной задачи, а не только с точки зрения естественности.

Эта работа демонстрирует, что TTS может эффективно предоставлять обучающие данные для конкретных задач в условиях низкого ресурса SQA, расширяя применение методов speech-LLM за пределы языков с высоким уровнем ресурсов.