शोधकर्ताओं ने डुप्लेक्सचैट पेश किया, एक ओपन-सोर्स कॉर्पस जो पूर्ण-डुप्लेक्स spoken dialogue language models को प्रशिक्षित करने के लिए आवश्यक वक्ता-अलग किए गए डेटा की कमी को दूर करने के लिए डिज़ाइन किया गया है। इस संसाधन को बनाने के लिए, उन्होंने डुप्लेक्सचैट-पाइप विकसित किया, एक पाइपलाइन जो सार्वजनिक पॉडकास्ट फ़ीड्स को प्रोसेस करके ऑडियो स्ट्रीम को निकालती और अलग करती है।
- पाइपलाइन भाषा-विशिष्ट पॉडकास्ट को फ़िल्टर करती है, एपिसोड ऑडियो को साफ़ करती है, और डायरिज़ेशन-मार्गदर्शित निष्कर्षण का उपयोग करके दो-वक्ता संवाद क्लिप्स को अलग करती है।
- प्रत्येक वक्ता के लिए अलग चैनल उत्पन्न करने के लिए speech separation और restoration तकनीकों को लागू किया जाता है।
- परिणामी कॉर्पस में 282,634 घंटे अंग्रेजी और 132,723 घंटे जापानी full-duplex dialogue speech शामिल हैं।
- विश्लेषण पुष्टि करता है कि डेटासेट मानव संवादों की विशेषता वाली turn-taking dynamics प्रदर्शित करता है।
यह कार्य एक बड़े पैमाने पर, उच्च-गुणवत्ता वाले डेटासेट प्रदान करता है जो आवश्यक वक्ता-अलग किए गए ऑडियो डेटा प्रदान करके अधिक प्रभावी spoken dialogue models के प्रशिक्षण को सक्षम बनाता है।