L'étude examine l'utilisation du Dynamic Time Warping (DTW) sur les représentations auto-supervisées de WavLM pour évaluer la précision phonétique, le rythme et l'intonation dans la parole L2 en anglais et en japonais, sans nécessiter de données d'entraînement étiquetées. L'approche DTW de base comparant la parole des apprenants aux modèles natifs dépasse l'accord humain sur la notation phonétique holistique et au niveau de la phrase.
- Pour l'évaluation du rythme, les auteurs introduisent des méthodes mesurant le degré de déformation dans le chemin d'alignement DTW, la meilleure méthode approchant les performances humaines.
- La notation de l'intonation combine la distance DTW sur les résidus prosodiques avec les caractéristiques de hauteur et d'intensité, bien que les performances restent modestes sur certaines tâches.
Les résultats démontrent que les représentations auto-supervisées fournissent une base prometteuse sans texte pour l'évaluation de la prononciation sous plusieurs aspects.