이 연구는 레이블이 지정된 학습 데이터 없이 영어 및 일본어 제2언어(L2) 발화의 음운 정확도, 리듬, 억양을 평가하기 위해 자기지도형 WavLM 표현에 동적 시간 압축(DTW)을 사용하는 것을 조사합니다. 학습자 발화를 원어민 템플릿과 비교하는 기본 DTW 접근 방식은 전체 및 문장 수준의 음운 점수 매기에서 인간 동의율을 초과합니다.

  • 리듬 평가를 위해 저자들은 DTW 정렬 경로에서의 왜곡 정도를 측정하는 방법을 도입했으며, 가장 우수한 방법은 인간 수준 성능에 근접합니다.
  • 억양 점수 매기는 프로소딕 잔차에 대한 DTW 거리와 피치 및 강도 특징을 결합하지만, 일부 작업에서는 성능이 여전히 미미합니다.

이 결과는 자기지도형 표현이 다각적 발음 평가에 유망한 텍스트 없는 기반을 제공함을 보여줍니다.