Le classement Open ASR a introduit ses premières langues du Sud global avec deux nouveaux ensembles d'évaluation : Monsoon en-IN (anglais indien) et Monsoon hi-IN (hindi). Ces ajouts comblent le manque de diversité démographique dans les benchmarks actuels, qui se sont historiquement concentrés sur les langues européennes.
- Les ensembles comprennent 4 888 locuteurs disjointes répartis sur quatre partitions publiques et privées.
- Les données ont été collectées via la plateforme Voice Arena depuis des centaines de districts afin d'assurer une large couverture géographique et matérielle.
- Chaque segment comprend 12 champs de métadonnées tels que l'âge, le sexe, la profession et le modèle de téléphone.
- Les ensembles hindi utilisent des lattices pour gérer les variations orthographiques plutôt que des références de chaînes standard.
- La collecte varie selon neuf axes incluant la géographie, l'âge, le sexe, le vocabulaire et les environnements acoustiques.
Cette expansion permet une analyse désagrégée des performances ASR auprès de populations diverses, révélant des disparités de taux d'erreur que masquent les scores WER agrégés.