Los investigadores presentan LuxSQA, un método para la Respuesta a Preguntas Habladas (SQA) en luxemburgués que aprovecha la síntesis de texto a voz para generar datos de entrenamiento sin requerir grandes corpus grabados por humanos. El enfoque traduce recursos existentes de QA basados en texto al luxemburgués y sintetiza preguntas habladas utilizando múltiples sistemas TTS, que luego se emparejan con respuestas textuales.
- El equipo entrena una arquitectura eficiente en parámetros estilo SLAM que conecta un codificador Whisper congelado a backends de LLM multilingües congelados mediante un proyeccionador aprendido y adaptadores LoRA.
- Comparan variantes de MMS-TTS, Qwen3-TTS y OmniVoice utilizando corpus de fuente única de aproximadamente 48k preguntas y una mezcla multi-fuente de aproximadamente 230k preguntas.
- La evaluación en el conjunto de datos LLAMA-LB-Test con condiciones reales de hablantes luxemburgueses muestra que las configuraciones de entrenamiento sintético basadas en fuentes múltiples y diseño de voz producen el mejor rendimiento de SQA.
- Los resultados indican que las puntuaciones de calidad TTS sin referencia no predicen monótonamente el rendimiento posterior de QA, lo que sugiere que el habla sintética debe evaluarse como datos de entrenamiento específicos de la tarea en lugar de únicamente por su naturalidad.
Este trabajo demuestra que TTS puede proporcionar eficazmente datos de entrenamiento específicos de la tarea para configuraciones SQA de bajo recurso, ampliando el alcance de los métodos LLM de voz más allá de los idiomas de alto recurso.