DTW pada WavLM memungkinkan penilaian ucapan L2 tanpa teks untuk fonetik, ritme, dan intonasi

Studi ini menyelidiki penggunaan Dynamic Time Warping (DTW) pada representasi WavLM yang dipelajari secara mandiri untuk menilai akurasi fonetik, ritme, dan intonasi dalam ucapan L2 bahasa Inggris dan Jepang tanpa memerlukan data pelatihan berlabel. Pendekatan DTW dasar yang membandingkan ucapan peserta dengan templat asli melampaui kesepakatan manusia dalam penilaian fonetik holistik dan tingkat kalimat.

• Untuk penilaian ritme, para penulis memperkenalkan metode yang mengukur tingkat pembengkokan pada jalur penyelarasan DTW, dengan metode terbaik mendekati kinerja setara manusia.
• Penilaian intonasi menggabungkan jarak DTW pada residu prosodi dengan fitur nada dan intensitas, meskipun kinerjanya tetap terbatas pada beberapa tugas.

Hasil-hasil tersebut menunjukkan bahwa representasi yang dipelajari secara mandiri menyediakan dasar tanpa teks yang menjanjikan untuk penilaian pengucapan multi-aspek.