研究者らは、Whisperのような大規模事前学習ASRモデルを低資源言語でファインチューニングする際の壊滅的忘却を緩和するための手法であるUnified Gradient Projection (UGP)を提案した。UGPは統一射影空間内での言語バランスの取れたリプレイからの参照勾配を用いてパラメータ更新を制約し、言語ごとの寄与を効果的に均等化し、支配的な言語のバイアスを低減する。

  • このアプローチは、勾配レベルの投影とデータレベルのリプレイを組み合わせて、安定性と可塑性において補完的な利点をもたらす。
  • これは、多言語設定において支配的な言語が最適化にバイアスを与えがちなクロスタスク干渉に対処する。
  • Whisper-large-v3において、UGPは多様な低資源言語グループおよびモデルスケール全体でほぼゼロの平均忘却率を達成する。

この手法は、低資源言語に対する効果的な適応を可能にしつつ、以前に学習した能力の損失を大幅に緩和する。