저자들은 뷰 증강 마스킹된 잠재 예측과 파형 재구성을 통해 분석 및 합성 목적을 공동으로 최적화하는 자기지도 음성 표현 학습 프레임워크인 OLIVE를 제안합니다. 이 통합 접근 방식은 초기 인코더 특징이 신호 레벨 정보를 유지하도록 제약하고, 후기 문맥적 표현을 견고한 다운스트림 성능을 위해 불변성 방향으로 형성합니다.
- 단일 목적 함수 하에서 뷰 증강 마스킹된 잠재 예측과 파형 재구성을 결합합니다.
- 재구성을 사용하여 초기 인코더 특징이 신호 레벨 정보를 유지하도록 제약합니다.
- 마스킹된 잠재 예측을 통해 후기 문맥적 표현을 불변성 방향으로 형성합니다.
- 생성 및 화자 작업에서 결과를 개선하면서 인식 및 의미 작업에서 경쟁력 있는 성능을 유지합니다.
OLIVE는 광범위한 작업을 지원하는 표현을 가능하게 하며, 특히 파형 재구성 품질을 향상시키고 생성 및 화자 식별 성능을 강화합니다.