Um novo framework multilíngue e multimodal de Processamento de Linguagem Natural (NLP) foi desenvolvido para fornecer detecção precoce de desinformação e dinâmicas propensas à violência ligadas ao mal-estar social. O sistema integra XLM-RoBERTa para representação de texto e CLIP para embeddings visuais, aprimorado por um mecanismo de atenção multi-cabeça e características auxiliares como sarcasmo e metadados geoespaciais.
- Um conjunto de dados fundido contendo 138.256 amostras em bengali e inglês foi criado combinando múltiplos conjuntos de dados de referência.
- Experimentos conduzidos em um subconjunto estratificado de 30% dos dados alcançaram 98% de precisão de teste com forte precisão e recall.
- O framework utiliza sinais geoespaciais para ajudar a antecipar a escalada real da violência impulsionada por informações falsas.
Os resultados demonstram a eficácia das abordagens multimodais na detecção precoce de desinformação, destacando o valor específico de incorporar dados geoespaciais para antecipar danos reais.