Les chercheurs présentent DuplexChat, un corpus open-source conçu pour combler le manque de données séparées par locuteur nécessaires à l'entraînement des modèles de langage de dialogue vocal en duplex intégral. Pour créer cette ressource, ils ont développé DuplexChat-Pipe, un pipeline qui traite les flux de podcasts publics pour extraire et séparer les flux audio.
- Le pipeline filtre les podcasts spécifiques à une langue, nettoie l'audio des épisodes et utilise une extraction guidée par la diarisation pour isoler les clips de dialogue à deux locuteurs.
- Des techniques de séparation et de restauration vocale sont appliquées pour produire des canaux distincts pour chaque locuteur.
- Le corpus résultant contient 282 634 heures de dialogue vocal en duplex intégral en anglais et 132 723 heures en japonais.
- L'analyse confirme que le jeu de données présente des dynamiques de prise de parole caractéristiques des conversations humaines.
Ce travail fournit un jeu de données à grande échelle et de haute qualité qui permet l'entraînement de modèles de dialogue vocal plus efficaces en offrant les données audio séparées par locuteur nécessaires.