Open ASR 리더보드가 두 가지 새로운 평가 세트인 Monsoon en-IN(인도 영어)과 Monsoon hi-IN(힌디어)를 통해 글로벌 사우스 언어를 처음 도입했습니다. 이러한 추가는 역사적으로 유럽어에 집중해 온 현재 벤치마크의 인구통계학적 다양성 부족 문제를 해결합니다.

  • 데이터셋은 네 가지 공개 및 비공개 분할에 걸쳐 4,888명의 화자를 포함합니다.
  • 광범위한 지리적 및 디바이스 커버리지를 보장하기 위해 수백 개의 지구에서 Voice Arena 플랫폼을 통해 데이터가 수집되었습니다.
  • 각 세그먼트에는 연령, 성별, 직업, 핸드셋 모델 등 12개의 메타데이터 필드가 포함되어 있습니다.
  • 힌디어 세트는 표준 문자열 참조 대신 표기법 변이를 처리하기 위해 래티스를 활용합니다.
  • 수집은 지리, 연령, 성별, 어휘, 음향 환경 등 아홉 가지 축을 따라 다양하게 이루어집니다.

이 확장은 다양한 인구에 걸쳐 ASR 성능의 세분화된 분석을 가능하게 하여, 집계 WER 점수가 숨기는 오류율 격차를 드러냅니다.