研究者らは、現在の基盤ASRモデルの高いゼロショット単語誤り率（WER）に対処するため、6つの南部バンツ語を対象としたトーン条件付きカリキュラムフレームワークを開発した。このアプローチは、ハイブリッド難易度スコアリング、トーン統計によって駆動されるゲート付きアダプター、およびコミュニティコーパス上での段階的カリキュラム学習を組み合わせている。

  • トーン条件付きW2V-BERTは、データセット間で平均WER 28.41%、Xitsonga転移で23.79%を達成した。
  • W2V-BERTはNguni言語においてWhisperより3〜4点のWERで上回り、一方WhisperはSotho-Tswana言語でより良いパフォーマンスを示した。
  • 6つの言語すべてに単一のモデルが適していたわけではなく、デプロイメントには言語ごとにモデルを選択し、コーパス間で検証することが必要であることを示している。

本研究はアーキテクチャと言語間の明確な相互作用を浮き彫りにしており、効果的なデプロイメントには普遍的手法に依存するのではなく、各言語に対して特定のモデルを選択することが必要であることを示唆している。