Les chercheurs présentent LuxSQA, une méthode pour la Réponse aux Questions Orales (SQA) en luxembourgeois qui exploite la synthèse vocale text-to-speech pour générer des données d'entraînement sans nécessiter de grands corpus enregistrés par des humains. L'approche traduit les ressources QA basées sur le texte existantes en luxembourgeois et synthétise des questions orales à l'aide de plusieurs systèmes TTS, qui sont ensuite associées à des réponses textuelles.
- L'équipe entraîne une architecture de style SLAM efficace en paramètres reliant un encodeur Whisper figé à des backends LLM multilingues figés via un projecteur appris et des adaptateurs LoRA.
- Ils comparent les variantes MMS-TTS, Qwen3-TTS et OmniVoice en utilisant des corpus mono-source d'environ 48k questions et un mélange multi-source d'environ 230k questions.
- L'évaluation sur le jeu de données LLAMA-LB-Test avec des conditions de locuteurs luxembourgeois réels montre que les configurations d'entraînement synthétiques multi-source et basées sur la conception vocale offrent les meilleures performances SQA.
- Les résultats indiquent que les scores de qualité TTS sans référence ne prédisent pas de manière monotone les performances QA en aval, suggérant que la parole synthétique devrait être évaluée comme des données d'entraînement spécifiques à la tâche plutôt que uniquement pour sa naturalité.
Ce travail démontre que le TTS peut fournir efficacement des données d'entraînement spécifiques à la tâche pour les paramètres SQA à faibles ressources, élargissant la portée des méthodes speech-LLM au-delà des langues à fortes ressources.