Estrutura multimodal melhora conjuntamente o reconhecimento de fala e a identificação de dialetos em línguas indianas

Pesquisadores propõem uma estrutura multimodal que aprimora simultaneamente o Reconhecimento Automático de Fala (ASR) e a Identificação de Dialetos (DID) para línguas indianas com poucos recursos. O método utiliza um Bottleneck Encoder para extrair características dialetais de representações de fala baseadas em Conformer e um RoBERTa encoder para processar embeddings CTC gerados pelo ASR.

• Um mecanismo gating mescla as características extraídas, seguido por um attention encoder para refinar as representações.
• Embeddings aprendidos são concatenados com as saídas do Conformer para aprimorar os recursos de ASR.
• Avaliado em oito línguas indianas com trinta e três dialetos, o método alcança uma precisão média de DID de 81,63%.
• O sistema atinge uma Taxa Média de Erro de Caracteres (CER) de 4,65% e uma Taxa de Erro de Palavras (WER) de 17,73%.

Esses resultados destacam a eficácia do modelamento conjunto ASR-DID para melhorar o desempenho em diversas variações dialetais.