Исследователи предлагают Единую проекцию градиента (UGP), метод для смягчения катастрофического забывания при дообучении больших предварительно обученных моделей ASR, таких как Whisper, на языках с низким уровнем ресурсности. UGP ограничивает обновления параметров с помощью эталонных градиентов из балансированного по языкам воспроизведения в едином пространстве проекции, эффективно уравнивая вклад каждого языка и снижая смещение доминирующего языка.
- Подход сочетает проекцию на уровне градиентов с воспроизведением на уровне данных для получения дополнительных преимуществ в стабильности и пластичности.
- Он решает проблему перекрестного вмешательства задач, где доминирующие языки обычно искажают оптимизацию в многоязычных настройках.
- На Whisper-large-v3 UGP достигает почти нулевого среднего забывания для различных групп языков с низким уровнем ресурсности и масштабов моделей.
Этот метод позволяет эффективную адаптацию для языков с низким уровнем ресурсности, существенно смягчая потерю ранее приобретенных способностей.