Peneliti mengusulkan sebuah kerangka kerja multimodal yang secara bersamaan meningkatkan Pengenalan Ucapan Otomatis (ASR) dan Identifikasi Dialek (DID) untuk bahasa India dengan sumber daya rendah. Metode ini menggunakan Encoder Bottleneck untuk mengekstrak fitur dialektal dari representasi ucapan berbasis Conformer dan encoder RoBERTa untuk memproses embedding CTC yang dihasilkan oleh ASR.
- Mekanisme gating menggabungkan fitur yang diekstraksi, diikuti oleh encoder perhatian untuk menyempurnakan representasi.
- Embedding yang dipelajari digabungkan dengan output Conformer untuk meningkatkan fitur ASR.
- Dievaluasi pada delapan bahasa India dengan tiga puluh tiga dialek, metode ini mencapai akurasi DID rata-rata sebesar 81,63%.
- Sistem mencapai Tingkat Kesalahan Karakter (CER) rata-rata sebesar 4,65% dan Tingkat Kesalahan Kata (WER) sebesar 17,73%.
Hasil-hasil ini menyoroti efektivitas pemodelan ASR-DID bersama untuk meningkatkan kinerja di berbagai variasi dialektal.