Os autores propõem o OLIVE, um framework de aprendizado de representação de fala auto-supervisionado que otimiza conjuntamente objetivos de análise e síntese por meio de predição latente mascarada aumentada por visão e reconstrução da forma de onda. Essa abordagem unificada restringe os primeiros recursos do codificador para reter informações em nível de sinal, enquanto molda as representações contextuais posteriores em direção à invariância para um desempenho robusto em tarefas subsequentes.
- Combina predição latente mascarada aumentada por visão com reconstrução da forma de onda sob um único objetivo.
- Usa a reconstrução para restringir os primeiros recursos do codificador a reter informações em nível de sinal.
- Molda as representações contextuais posteriores em direção à invariância por meio de predição latente mascarada.
- Melhora os resultados em tarefas de geração e de locutor, mantendo desempenho competitivo em tarefas de reconhecimento e semânticas.
O OLIVE permite representações que suportam uma ampla gama de tarefas, especificamente melhorando a qualidade da reconstrução da forma de onda junto com o desempenho aprimorado em geração e identificação de locutor.