Un marco multimodal mejora conjuntamente el reconocimiento de voz y la identificación de dialectos en lenguas indias

Los investigadores proponen un marco multimodal que mejora simultáneamente el Reconocimiento Automático de Voz (ASR) y la Identificación de Dialectos (DID) para lenguas indias con pocos recursos. El método utiliza un Bottleneck Encoder para extraer características dialectales de representaciones de voz basadas en Conformer y un RoBERTa encoder para procesar incrustaciones CTC generadas por ASR.

• Un mecanismo gating fusiona las características extraídas, seguido de un attention encoder para refinar las representaciones.
• Las incrustaciones aprendidas se concatenan con las salidas de Conformer para mejorar las características de ASR.
• Evaluado en ocho lenguas indias con treinta y tres dialectos, el método logra una precisión DID promedio del 81.63%.
• El sistema alcanza una Tasa de Error de Caracteres (CER) promedio del 4.65% y una Tasa de Error de Palabras (WER) del 17.73%.

Estos resultados destacan la efectividad del modelado conjunto ASR-DID para mejorar el rendimiento en diversas variaciones dialectales.