研究者たちは、低資源インド言語に対して自動音声認識（ASR）と言語識別（DID）を同時に強化するマルチモーダルフレームワークを提案している。この手法は、Conformerベースの音声表現から方言特徴を抽出するためにBottleneck Encoderを使用し、ASRで生成されたCTC埋め込みを処理するためにRoBERTaエンコーダーを使用する。

  • 抽出された特徴をマージするゲート機構と、表現を洗練させるアテンションエンコーダーが続く。
  • 学習された埋め込みはConformerの出力と連結され、ASRの特徴を強化する。
  • 33の方言を持つ8つのインド言語で評価した結果、平均DID精度は81.63%を達成した。
  • システムは平均文字誤り率（CER）4.65%と単語誤り率（WER）17.73%に達した。

これらの結果は、多様な方言のバリエーション全体でパフォーマンスを向上させるための共同ASR-DIDモデリングの有効性を浮き彫りにしている。