Les chercheurs ont développé un cadre de curriculum conditionné par ton pour six langues bantoues du Sud afin de répondre aux taux d'erreur de mots (WER) en zero-shot élevés des modèles ASR de base actuels. L'approche combine une notation de difficulté hybride, des adaptateurs à portes pilotés par les statistiques tonales et un entraînement par curriculum échelonné sur un corpus communautaire.
- W2V-BERT avec conditionnement tonal a atteint un WER moyen de 28,41 % entre les ensembles de données et de 23,79 % sur le transfert Xitsonga.
- W2V-BERT a surpassé Whisper de 3 à 4 points de WER sur les langues Nguni, tandis que Whisper a mieux performé sur les langues Sotho-Tswana.
- Aucun modèle unique ne convenait aux six langues, indiquant que le déploiement doit associer la sélection du modèle par langue à une validation croisée entre les corpus.
L'étude met en évidence des interactions claires entre l'architecture et la langue, suggérant qu'un déploiement efficace nécessite de sélectionner des modèles spécifiques pour chaque langue plutôt que de s'appuyer sur une solution universelle.