研究人员推出了 LuxSQA，这是一种用于卢森堡语口语问答（SQA）的方法，利用文本转语音合成生成训练数据，无需依赖大规模人工录音语料库。该方法将现有的基于文本的 QA 资源翻译为卢森堡语，并使用多个 TTS 系统合成口语问题，然后与文本回答配对。

  • 团队训练了一种参数高效的 SLAM 风格架构，通过学习的投影器和 LoRA 适配器将冻结的 Whisper 编码器连接到冻结的多语言 LLM 后端。
  • 他们使用约 48k 问题的单源语料库和约 230k 问题的多源混合数据，比较了 MMS-TTS、Qwen3-TTS 和 OmniVoice 变体。
  • 在 LLAMA-LB-Test 数据集上针对真实卢森堡语说话人条件进行评估显示，多源和基于语音设计的合成训练配置产生了最强的 SQA 性能。
  • 结果表明，无参考 TTS 质量评分并不能单调地预测下游 QA 性能，这表明合成语音应作为任务特定的训练数据进行评估，而不仅仅是为了自然度。

这项工作表明，TTS 可以有效地为低资源 SQA 场景提供任务特定的训练数据，将语音 LLM 方法的应用范围扩展到高资源语言之外。