Los investigadores proponen la Proyección de Gradiente Unificada (UGP), un método para mitigar el olvido catastrófico al ajustar modelos grandes de ASR previamente entrenados como Whisper en idiomas con pocos recursos. UGP restringe las actualizaciones de parámetros utilizando gradientes de referencia del repliegue equilibrado por idioma dentro de un espacio de proyección unificado, igualando efectivamente las contribuciones por idioma y reduciendo el sesgo del idioma dominante.
- El enfoque combina la proyección a nivel de gradiente con el repliegue a nivel de datos para obtener ganancias complementarias en estabilidad y plasticidad.
- Aborda la interferencia entre tareas donde los idiomas dominantes suelen sesgar la optimización en configuraciones multilingües.
- En Whisper-large-v3, UGP logra un olvido promedio cercano a cero en diversos grupos de idiomas con pocos recursos y escalas de modelos.
Este método permite una adaptación efectiva para idiomas con pocos recursos mientras mitiga sustancialmente la pérdida de capacidades previamente aprendidas.