著者は、ビュー拡張マスクされた潜在予測と波形再構築を通じて分析および合成目的を共同で最適化する自己教師あり音声表現学習フレームワークであるOLIVEを提案する。この統合アプローチは、早期エンコーダ特徴が信号レベルの情報を保持するように制約し、後続の文脈的表現を堅牢なダウンストリームパフォーマンスに向けて不変性へ向けて形成する。

  • 単一の目的関数下でビュー拡張マスクされた潜在予測と波形再構築を組み合わせる。
  • 再構築を用いて早期エンコーダ特徴が信号レベルの情報を保持するように制約する。
  • マスクされた潜在予測を通じて後続の文脈的表現を不変性へ向けて形成する。
  • 生成および話者タスクでの結果を改善しつつ、認識および意味タスクで競争力のあるパフォーマンスを維持する。

OLIVEは幅広いタスクをサポートする表現を可能にし、特に波形再構築の品質を向上させるとともに、生成および話者識別のパフォーマンスを強化する。