Se ha desarrollado un nuevo marco multilingüe y multimodal de Procesamiento del Lenguaje Natural (NLP) para proporcionar la detección temprana de desinformación y dinámicas propensas a la violencia vinculadas al malestar social. El sistema integra XLM-RoBERTa para la representación de texto y CLIP para incrustaciones visuales, mejorado por un mecanismo de atención multi-cabeza y características auxiliares como el sarcasmo y metadatos geoespaciales.
- Se creó un conjunto de datos fusionado que contiene 138.256 muestras en bengalí e inglés combinando múltiples conjuntos de datos de referencia.
- Los experimentos realizados en un subconjunto estratificado del 30% de los datos lograron una precisión de prueba del 98% con alta precisión y exhaustividad.
- El marco utiliza señales geoespaciales para ayudar a anticipar la escalada real de la violencia impulsada por información falsa.
Los resultados demuestran la eficacia de los enfoques multimodales en la detección temprana de desinformación, destacando el valor específico de incorporar datos geoespaciales para anticipar daños reales.