다중 모달 프레임워크가 인도 언어의 ASR 및 방언 식별을 동시에 향상

연구자들은 저자원 인도 언어에 대해 자동 음성 인식(ASR)과 방언 식별(DID)을 동시에 향상시키는 다중 모달 프레임워크를 제안합니다. 이 방법은 Conformer 기반 음성 표현에서 방언 특성을 추출하기 위해 Bottleneck Encoder를 사용하고, ASR에서 생성된 CTC 임베딩을 처리하기 위해 RoBERTa 인코더를 사용합니다.

• 추출된 특성을 병합하는 게이트 메커니즘이 이어지고, 표현을 정제하기 위한 어텐션 인코더가 뒤따릅니다.
• 학습된 임베딩은 Conformer 출력과 결합되어 ASR 특성을 강화합니다.
• 33개의 방언을 가진 8개 인도 언어로 평가한 결과, 평균 DID 정확도는 81.63%를 달성했습니다.
• 시스템은 평균 문자 오류율(CER) 4.65%와 단어 오류율(WER) 17.73%에 도달했습니다.

이러한 결과는 다양한 방언 변이에 걸쳐 성능을 향상시키기 위한 공동 ASR-DID 모델링의 효과를 강조합니다.