研究者らは、フルデックスの会話型言語モデルを訓練するために必要な話者分離データの不足に対処するために設計されたオープンソースコーパスであるDuplexChatを紹介している。このリソースを作成するため、彼らはパブリックなポッドキャストフィードを処理して音声ストリームを抽出・分離するパイプラインであるDuplexChat-Pipeを開発した。

  • パイプラインは言語固有のポッドキャストをフィルタリングし、エピソードの音声をクリーンアップし、ダイアライゼーション誘導抽出を使用して2人の話者の対話クリップを分離する。
  • 各話者用の個別チャンネルを生成するために音声分離および復元技術が適用される。
  • 結果として得られたコーパスには、英語のフルデックス対話音声282,634時間と日本語の132,723時間が含まれている。
  • 分析により、このデータセットが人間の会話に特徴的なターンテイキング動態を示すことが確認された。

この取り組みは、必要な話者分離音声データを供給することで、より効果的な会話型モデルの訓練を可能にする大規模かつ高品質なデータセットを提供する。