Исследователи предлагают мультимодальную архитектуру, которая одновременно улучшает автоматическое распознавание речи (ASR) и идентификацию диалектов (DID) для малоресурсных индийских языков. Метод использует Bottleneck Encoder для извлечения диалектных признаков из речевых представлений на основе Conformer и RoBERTa encoder для обработки CTC-эмбеддингов, сгенерированных ASR.

  • Механизм gating объединяет извлеченные признаки, за которым следует attention encoder для уточнения представлений.
  • Обучаемые эмбеддинги конкатенируются с выходами Conformer для улучшения признаков ASR.
  • Оценка на восьми индийских языках с тридцатью тремя диалектами показывает среднюю точность DID 81,63%.
  • Система достигает средней ошибки символов (CER) 4,65% и ошибки слов (WER) 17,73%.

Эти результаты подчеркивают эффективность совместного моделирования ASR-DID для улучшения производительности при разнообразных диалектных вариациях.