El estudio investiga el uso de la alineación temporal dinámica (DTW) en representaciones autovigilantes de WavLM para evaluar la precisión fonética, el ritmo y la entonación en habla L2 en inglés y japonés sin requerir datos de entrenamiento etiquetados. El enfoque básico de DTW que compara el habla del aprendiz con plantillas nativas supera el acuerdo humano en la puntuación fonética holística y a nivel de oración.
- Para la evaluación del ritmo, los autores introducen métodos que miden el grado de deformación en la trayectoria de alineación DTW, siendo el mejor método el que se acerca al rendimiento humano.
- La puntuación de entonación combina la distancia DTW sobre residuos prosódicos con características de tono e intensidad, aunque el rendimiento sigue siendo modesto en algunas tareas.
Los resultados demuestran que las representaciones autovigilantes proporcionan una base prometedora sin texto para la evaluación de la pronunciación en múltiples aspectos.