Les chercheurs proposent un cadre multimodal qui améliore simultanément la reconnaissance automatique de la parole (ASR) et l'identification des dialectes (DID) pour les langues indiennes à faible ressource. La méthode utilise un encodeur Bottleneck pour extraire les caractéristiques dialectales à partir de représentations vocales basées sur Conformer, et un encodeur RoBERTa pour traiter les embeddings CTC générés par l'ASR.
- Un mécanisme de gating fusionne les caractéristiques extraites, suivi d'un encodeur par attention pour affiner les représentations.
- Les embeddings appris sont concaténés aux sorties du Conformer pour améliorer les caractéristiques ASR.
- Évalué sur huit langues indiennes avec trente-trois dialectes, la méthode atteint une précision DID moyenne de 81,63 %.
- Le système atteint un taux d'erreur de caractères (CER) moyen de 4,65 % et un taux d'erreur de mots (WER) de 17,73 %.
Ces résultats mettent en évidence l'efficacité de la modélisation conjointe ASR-DID pour améliorer les performances sur des variations dialectales diverses.