연구진은 이 아프리카 언어에 대한 개발된 도구의 부재를 해결하기 위해 바마나어 아동의 독서 능력을 평가하도록 설계된 오픈소스 자동 음성 인식(ASR) 솔루션을 제시했습니다. 이 시스템은 현장 데이터 수집, 벤치마크 구축, 모델 적응 및 교실 검증을 포함한 엔드투엔드 프로세스를 통해 구축되었습니다.
- 모바일 앱은 바마나어 아동 독서 능력 평가를 위한 공개 벤치마크를 생성하기 위해 60명의 아동으로부터 55시간의 원시 읽기 음성을 수집했습니다.
- 파인튜닝 실험은 바마나어 적응형 Fast-Conformer ASR 프레임워크인 Soloni와 컴팩트한 컨볼루션 ASR 아키텍처인 QuartzNet을 비교했습니다.
- 최상의 Soloni 모델은 단어 오류율(WER)을 0.42에서 0.22로, 문자 오류율(CER)을 0.15에서 0.08로 낮추어 QuartzNet을 크게 상회하는 성능을 보였습니다.
- 분해된 분석은 10세 미만의 아동을 잔류 오류의 주요 원인으로 식별하여, 젊은 독자들로부터 표적 데이터 수집을 촉진했습니다.
- 10회의 교실 시험은 문해력 평가를 위한 애플리케이션의 지속적인 사용을 지지했습니다.
이 연구는 저자원 언어에 대한 문해력 평가를 위한 재현 가능한 프레임워크를 제공하고, 아동 음성에 대한 ASR 성능 향상을 위한 특정 아키텍처적 이점과 데이터 요구 사항을 강조합니다.