연구원들은 풀덱스 스피친 대화 언어 모델을 훈련하는 데 필요한 화자 분리 데이터의 부족을 해결하기 위해 설계된 오픈소스 코퍼스인 DuplexChat을 소개했습니다. 이 자료를 만들기 위해 그들은 공개 팟캐스트 피드를 처리하여 오디오 스트림을 추출하고 분리하는 파이프라인인 DuplexChat-Pipe를 개발했습니다.
- 파이프라인은 언어별 팟캐스트를 필터링하고, 에피소드 오디오를 정리하며, diarization 유도 추출을 사용하여 두 화자의 대화 클립을 분리합니다.
- 각 화자를 위한 별도의 채널을 생성하기 위해 음성 분리 및 복원 기술이 적용됩니다.
- 결과 코퍼스에는 영어 풀덱스 대화 음성이 282,634시간과 일본어 풀덱스 대화가 132,723시간 포함되어 있습니다.
- 분석은 이 데이터셋이 인간 대화의 특징적인 턴 테이킹 역학을 보여준다는 것을 확인했습니다.
이 작업은 필요한 화자 분리 오디오 데이터를 제공함으로써 더 효과적인 대화 모델을 훈련할 수 있도록 하는 대규모 고품질 데이터셋을 제공합니다.