تم تطوير إطار عمل جديد لمعالجة اللغة الطبيعية (NLP) متعدد اللغات ومتعدد الوسائط لتقديم الكشف المبكر عن المعلومات المضللة والديناميكيات المولدة للعنف المرتبطة بالاضطرابات الاجتماعية. يدمج النظام XLM-RoBERTa لتمثيل النص وCLIP للتضمينات البصرية، مع تعزيزه بآلية انتباه متعددة الرؤوس وميزات مساعدة مثل السخرية والبيانات الوصفية الجغرافية المكانية.
- تم إنشاء مجموعة بيانات مدمجة تحتوي على 138,256 عينة من البنغالية والإنجليزية عن طريق دمج مجموعات بيانات المعايير المرجعية المتعددة.
- حققت التجارب التي أُجريت على جزء فرعي طبقى بنسبة 30% من البيانات دقة اختبار تبلغ 98% مع دقة واسترجاع قويين.
- يستخدم الإطار إشارات جغرافية مكانية للمساعدة في توقع تصعيد العنف في العالم الحقيقي الذي تقوده المعلومات الكاذبة.
تُظهر النتائج فعالية النهج متعدد الوسائط في الكشف المبكر عن المعلومات المضللة، مما يسلط الضوء على القيمة المحددة لدمج البيانات الجغرافية المكانية للتنبؤ بالأذى الواقعي.