Para peneliti memperkenalkan DuplexChat, sebuah korpus sumber terbuka yang dirancang untuk mengatasi kurangnya data terpisah pembicara yang diperlukan untuk melatih model bahasa dialog ucapan duplex penuh. Untuk membuat sumber daya ini, mereka mengembangkan DuplexChat-Pipe, sebuah pipa yang memproses umpan podcast publik untuk mengekstrak dan memisahkan aliran audio.
- Pipa tersebut memfilter podcast spesifik bahasa, membersihkan audio episode, dan menggunakan ekstraksi yang dipandu oleh diarization untuk mengisolasi klip dialog dua pembicara.
- Teknik pemisahan dan pemulihan ucapan diterapkan untuk menghasilkan saluran terpisah untuk setiap pembicara.
- Korpus hasil mengandung 282.634 jam ucapan dialog duplex penuh dalam bahasa Inggris dan 132.723 jam dalam bahasa Jepang.
- Analisis mengonfirmasi bahwa dataset tersebut menunjukkan dinamika giliran bicara yang khas dari percakapan manusia.
Karya ini menyediakan dataset skala besar dan berkualitas tinggi yang memungkinkan pelatihan model dialog ucapan yang lebih efektif dengan menawarkan data audio terpisah pembicara yang diperlukan.