Un nouveau cadre de traitement du langage naturel (NLP) multilingue et multimodal a été développé pour fournir une détection précoce des désinformations et des dynamiques propices à la violence liées aux troubles sociaux. Le système intègre XLM-RoBERTa pour la représentation textuelle et CLIP pour les embeddings visuels, amélioré par un mécanisme d'attention multi-têtes et des fonctionnalités auxiliaires telles que l'ironie et les métadonnées géospatiales.
- Un jeu de données fusionné contenant 138 256 échantillons en bengali et en anglais a été créé en combinant plusieurs jeux de données de référence.
- Des expériences menées sur un sous-ensemble stratifié de 30 % des données ont atteint une précision de test de 98 % avec une forte précision et rappel.
- Le cadre utilise des signaux géospatiaux pour aider à anticiper l'escalade réelle de la violence provoquée par de fausses informations.
Les résultats démontrent l'efficacité des approches multimodales dans la détection précoce des désinformations, soulignant la valeur spécifique de l'intégration de données géospatiales pour anticiper les dommages réels.