연구자들은 Whisper와 같은 대규모 사전 학습 ASR 모델을 저자원 언어로 파인튜닝할 때 파국적 망각을 완화하기 위한 방법론인 Unified Gradient Projection (UGP)를 제안했습니다. UGP는 통합 투영 공간 내의 언어 균형 잡힌 리플레이에서 참조 기울기를 사용하여 매개변수 업데이트를 제약하고, 언어별 기여도를 효과적으로 균등화하여 지배적인 언어의 편향을 줄입니다.

  • 이 접근 방식은 기울기 수준의 투영과 데이터 수준의 리플레이를 결합하여 안정성과 가소성에서 상호 보완적인 이점을 제공합니다.
  • 이는 다국어 설정에서 지배적인 언어가 최적화에 편향을 일으키는 경우가 많은 교차 작업 간섭을 해결합니다.
  • Whisper-large-v3에서 UGP는 다양한 저자원 언어 그룹 및 모델 스케일 전반에 걸쳐 거의 제로인 평균 망각률을 달성합니다.

이 방법은 이전에 학습된 능력의 손실을 상당히 완화하면서도 저자원 언어에 대한 효과적인 적응을 가능하게 합니다.