Sebuah kerangka Pemrosesan Bahasa Alamiah (NLP) multibahasa dan multimodal baru telah dikembangkan untuk memberikan deteksi dini misinformasi dan dinamika yang rentan terhadap kekerasan yang terkait dengan keresahan sosial. Sistem ini mengintegrasikan XLM-RoBERTa untuk representasi teks dan CLIP untuk embedding visual, yang ditingkatkan oleh mekanisme perhatian multi-head dan fitur tambahan seperti sarkasme dan metadata geospasial.
- Sebuah dataset terpadu yang berisi 138.256 sampel bahasa Bengali dan Inggris dibuat dengan menggabungkan beberapa dataset benchmark.
- Eksperimen yang dilakukan pada subset stratifikasi 30% dari data mencapai akurasi uji 98% dengan presisi dan recall yang kuat.
- Kerangka ini memanfaatkan sinyal geospasial untuk membantu mengantisipasi eskalasi kekerasan dunia nyata yang didorong oleh informasi palsu.
Hasil-hasil tersebut menunjukkan efektivitas pendekatan multimodal dalam deteksi misinformasi dini, menyoroti nilai spesifik dari penggabungan data geospasial untuk mengantisipasi kerugian dunia nyata.