多模态框架联合提升印度语言的语音识别和方言识别

研究人员提出了一种多模态框架，可同时增强低资源印度语言的自动语音识别 (ASR) 和方言识别 (DID)。该方法使用 Bottleneck Encoder 从基于 Conformer 的语音表示中提取方言特征，并使用 RoBERTa encoder 处理 ASR 生成的 CTC 嵌入。

• 门控机制合并提取的特征，随后通过 attention encoder 细化表示。
• 学习到的嵌入与 Conformer 输出拼接以增强 ASR 特征。
• 在包含33种方言的8种印度语言上进行评估，该方法实现了81.63%的平均 DID 准确率。
• 系统达到平均字符错误率 (CER) 4.65% 和词错误率 (WER) 17.73%。

这些结果突显了联合 ASR-DID 建模在改善不同方言变异性能方面的有效性。