Los investigadores presentan DuplexChat, un corpus de código abierto diseñado para abordar la falta de datos separados por hablante necesarios para entrenar modelos de lenguaje de diálogo hablado en dúplex completo. Para crear este recurso, desarrollaron DuplexChat-Pipe, una canalización que procesa transmisiones públicas de podcasts para extraer y separar flujos de audio.
- La canalización filtra podcasts específicos del idioma, limpia el audio de los episodios y utiliza extracción guiada por diarización para aislar clips de diálogo de dos hablantes.
- Se aplican técnicas de separación y restauración de voz para producir canales distintos para cada hablante.
- El corpus resultante contiene 282.634 horas de inglés y 132.723 horas de japonés de diálogo hablado en dúplex completo.
- El análisis confirma que el conjunto de datos exhibe dinámicas de turno de habla características de las conversaciones humanas.
Este trabajo proporciona un conjunto de datos a gran escala y de alta calidad que permite entrenar modelos de diálogo hablado más efectivos al ofrecer los datos de audio separados por hablante necesarios.