शोधकर्ताओं ने एकीकृत ग्रेडिएंट प्रक्षेपण (UGP) का प्रस्ताव रखा है, जो कम संसाधन वाली भाषाओं पर व्हिस्पर जैसे बड़े पूर्व-प्रशिक्षित ASR मॉडलों को फाइन-ट्यून करते समय विनाशक भूल को कम करने के लिए एक विधि है। UGP एक एकीकृत प्रक्षेपण स्थान में भाषा-संतुलित पुन: उत्पादन से संदर्भ ग्रेडिएंट का उपयोग करके पैरामीटर अपडेट को बाधित करता है, जिससे प्रति-भाषा योगदानों को प्रभावी ढंग से बराबर किया जाता है और प्रमुख भाषा के पक्षपात को कम किया जाता है।
- यह दृष्टिकोण स्थिरता और लचीलेपन में पूरक लाभ प्राप्त करने के लिए ग्रेडिएंट-स्तर प्रक्षेपण को डेटा-स्तर पुन: उत्पादन के साथ जोड़ता है।
- यह उन क्रॉस-कार्य हस्तक्षेपों को संबोधित करता है जहाँ प्रमुख भाषाएँ बहुभाषी सेटिंग्स में अनुकूलन को आमतौर पर पक्षपाती बना देती हैं।
- व्हिस्पर-लार्ज-v3 पर, UGP विविध कम संसाधन वाली भाषा समूहों और मॉडल स्केल के लिए शून्य के निकट औसत भूल प्राप्त करता है।
यह विधि कम संसाधन वाली भाषाओं के लिए प्रभावी अनुकूलन को सक्षम बनाती है, जबकि पूर्व में सीखी गई क्षमताओं के नुकसान को काफी हद तक कम करती है।