Para peneliti mengusulkan Proyeksi Gradien Terpadu (UGP), sebuah metode untuk meredam lupa katastrofik saat melakukan penalaan halus pada model ASR pra-latih besar seperti Whisper pada bahasa dengan sumber daya rendah. UGP membatasi pembaruan parameter menggunakan gradien referensi dari replika seimbang bahasa dalam ruang proyeksi terpadu, secara efektif menyamakan kontribusi per-bahasa dan mengurangi bias bahasa dominan.
- Pendekatan ini menggabungkan proyeksi tingkat gradien dengan replika tingkat data untuk menghasilkan keuntungan komplementer dalam stabilitas dan plastisitas.
- Metode ini mengatasi interferensi lintas-tugas di mana bahasa dominan biasanya membiaskan optimasi dalam pengaturan multibahasa.
- Pada Whisper-large-v3, UGP mencapai lupa rata-rata mendekati nol di berbagai kelompok bahasa dengan sumber daya rendah dan skala model.
Metode ini memungkinkan adaptasi yang efektif untuk bahasa dengan sumber daya rendah sambil secara substansial meredam hilangnya kemampuan yang telah dipelajari sebelumnya.