该研究调查了在英语和日语二语(L2)语音中,利用自监督WavLM表示上的动态时间规整(DTW)来评估发音准确性、节奏和语调,且无需标注训练数据。将学习者语音与母语者模板进行比较的基础DTW方法,在整体和句子层面的发音评分上超过了人类的一致性。

  • 对于节奏评估,作者引入了测量DTW对齐路径中扭曲程度的方法,其中最佳方法接近人类水平性能。
  • 语调评分将基于韵律残差的DTW距离与音高和强度特征相结合,尽管在某些任务上的表现仍然有限。

结果表明,自监督表示为多层面发音评估提供了一种有前景的无文本基础。