Les chercheurs proposent la Projection de Gradient Unifiée (UGP), une méthode pour atténuer l'oubli catastrophique lors du fine-tuning de grands modèles ASR pré-entraînés comme Whisper sur des langues peu dotées. L'UGP contraint les mises à jour des paramètres en utilisant des gradients de référence issus d'une rééquilibrage linguistique dans un espace de projection unifié, égalisant efficacement les contributions par langue et réduisant le biais des langues dominantes.
- L'approche combine la projection au niveau du gradient avec une réutilisation au niveau des données pour obtenir des gains complémentaires en stabilité et plasticité.
- Elle traite l'interférence inter-tâches où les langues dominantes biaisent généralement l'optimisation dans les paramètres multilingues.
- Sur Whisper-large-v3, l'UGP atteint un oubli moyen quasi nul à travers divers groupes de langues peu dotées et échelles de modèles.
Cette méthode permet une adaptation efficace pour les langues peu dotées tout en atténuant substantiellement la perte des capacités précédemment apprises.