OLIVE : Prédiction latente augmentée par vue avec reconstruction de forme d'onde pour l'apprentissage auto-supervisé de la parole (SSL)

Les auteurs proposent OLIVE, un cadre d'apprentissage de représentations de la parole en auto-supervision qui optimise conjointement les objectifs d'analyse et de synthèse via une prédiction latente masquée augmentée par vue et une reconstruction de forme d'onde. Cette approche unifiée contraint les caractéristiques précoces de l'encodeur à conserver les informations au niveau du signal tout en orientant les représentations contextuelles ultérieures vers l'invariance pour des performances robustes en aval.

• Combine la prédiction latente masquée augmentée par vue avec la reconstruction de forme d'onde sous un objectif unique.
• Utilise la reconstruction pour contraindre les caractéristiques précoces de l'encodeur à conserver les informations au niveau du signal.
• Oriente les représentations contextuelles ultérieures vers l'invariance via la prédiction latente masquée.
• Améliore les résultats sur les tâches de génération et d'orateur tout en maintenant des performances compétitives sur les tâches de reconnaissance et sémantiques.

OLIVE permet des représentations qui prennent en charge un large éventail de tâches, améliorant spécifiquement la qualité de la reconstruction de forme d'onde ainsi que les performances accrues sur la génération et l'identification de l'orateur.