作者提出了 OLIVE,这是一种自监督语音表示学习框架,通过视图增强的掩码潜在预测和波形重建联合优化分析和合成目标。这种统一的方法约束早期编码器特征以保留信号级信息,同时塑造后期上下文表示以实现不变性,从而提升下游任务的鲁棒性能。
- 在单一目标下结合视图增强掩码潜在预测与波形重建。
- 利用重建约束早期编码器特征以保留信号级信息。
- 通过掩码潜在预测将后期上下文表示塑造为具有不变性。
- 在生成和说话人任务上提升结果,同时在识别和语义任务上保持竞争性性能。
OLIVE 使得表示能够支持广泛的任务,具体而言,在提升波形重建质量的同时,增强了生成和说话人识别的性能。