Исследователи представляют DuplexChat, открытую корпусную базу данных, предназначенную для устранения недостатка разделенных по говорящим данных, необходимых для обучения полнодуплексных языковых моделей устной речи. Для создания этого ресурса они разработали DuplexChat-Pipe — конвейер обработки публичных подкастов для извлечения и разделения аудиопотоков.
- Конвейер фильтрует подкасты по языковому признаку, очищает аудио эпизодов и использует извлечение, направляемое диааризацией, для выделения диалоговых фрагментов с двумя говорящими.
- Применяются техники разделения и восстановления речи для создания отдельных каналов для каждого говорящего.
- Полученная корпусная база данных содержит 282 634 часа английской и 132 723 часа японской полнодуплексной диалоговой речи.
- Анализ подтверждает, что набор данных демонстрирует динамику переключения реплик, характерную для человеческих разговоров.
Эта работа предоставляет крупномасштабный высококачественный набор данных, который позволяет обучать более эффективные модели устной диалога за счет предоставления необходимых разделенных по говорящим аудиоданных.