统一梯度投影降低多语言ASR中的灾难性遗忘

研究人员提出了统一梯度投影（UGP），一种在低资源语言上微调大型预训练ASR模型（如Whisper）时减轻灾难性遗忘的方法。UGP通过在统一投影空间内使用来自语言平衡重放的参考梯度来约束参数更新，有效地均衡了各语言的贡献并减少了主导语言的偏差。

• 该方法将梯度级投影与数据级重放相结合，从而在稳定性和可塑性方面获得互补的收益。
• 它解决了跨任务干扰问题，其中主导语言通常在多语言设置中使优化产生偏差。
• 在Whisper-large-v3上，UGP在各种低资源语言组和模型规模上实现了接近零的平均遗忘率。

该方法使得对低资源语言的有效适应成为可能，同时大幅减轻了先前习得能力的丧失。