يقترح الباحثون إطار عمل متعدد الوسائط يعزز بشكل متزامن التعرف التلقائي على الكلام (ASR) وتحديد اللهجات (DID) للغات الهندية منخفضة الموارد. تستخدم الطريقة مشفر Bottleneck لاستخراج السمات اللهجية من تمثيلات الكلام القائمة على Conformer ومشفر RoBERTa لمعالجة تضمينات CTC التي ولّدها ASR.
- تدمج آلية التوجيه السمات المستخرجة، تليها وحدة انتباه لتنقية التمثيلات.
- تُدمج التضمينات المتعلمة مع مخرجات Conformer لتعزيز سمات ASR.
- تم تقييم الطريقة على ثماني لغات هندية بثلاثين لهجة، وحققت دقة DID متوسطة تبلغ 81.63%.
- حقق النظام معدل خطأ الأحرف (CER) المتوسط البالغ 4.65% ومعدل خطأ الكلمات (WER) البالغ 17.73%.
تسلط هذه النتائج الضوء على فعالية نمذجة ASR-DID المشتركة لتحسين الأداء عبر تنوعات لهجية متنوعة.