शोधकर्ताओं ने कम संसाधन वाली भारतीय भाषाओं के लिए स्वचालित वक्ता पहचान (ASR) और बोली की पहचान (DID) को एक साथ बढ़ाने वाला एक बहुमोडल फ्रेमवर्क प्रस्तावित किया है। विधि Conformer-आधारित वक्ता निरूपणों से बोली विशेषताओं को निकालने के लिए Bottleneck Encoder का उपयोग करती है और ASR द्वारा उत्पन्न CTC एम्बेडिंग्स को संसाधित करने के लिए RoBERTa encoder का उपयोग करती है।
- एक gating तंत्र निकाली गई विशेषताओं को मिलाता है, जिसके बाद निरूपणों को परिष्कृत करने के लिए एक attention encoder आता है।
- सीखे गए एम्बेडिंग्स को ASR विशेषताओं को बढ़ाने के लिए Conformer आउटपुट के साथ संयोजित किया जाता है।
- तीस बोलियों वाले आठ भारतीय भाषाओं पर मूल्यांकन करने पर, विधि ने 81.63% की औसत DID सटीकता प्राप्त की।
- सिस्टम ने 4.65% की औसत वर्ग त्रुटि दर (CER) और 17.73% की शब्द त्रुटि दर (WER) प्राप्त की।
ये परिणाम विविध बोलियों के भिन्नताओं में प्रदर्शन को बेहतर बनाने के लिए संयुक्त ASR-DID मॉडलिंग की प्रभावशीलता को उजागर करते हैं।