Новая многоязычная мультимодальная система обработки естественного языка (NLP) разработана для раннего выявления дезинформации и динамики, ведущей к насилию, связанной с социальными волнениями. Система интегрирует XLM-RoBERTa для текстового представления и CLIP для визуальных эмбеддингов, дополнена механизмом многоголовного внимания и вспомогательными признаками, такими как сарказм и геопространственные метаданные.
- Объединённый набор данных, содержащий 138 256 образцов на бенгальском и английском языках, был создан путём объединения нескольких эталонных наборов данных.
- Эксперименты, проведённые на стратифицированной выборке в 30% от данных, показали тестовую точность 98% при высокой точности и полноте.
- Фреймворк использует геопространственные сигналы для прогнозирования реального эскалации насилия, вызванного ложной информацией.
Результаты демонстрируют эффективность мультимодальных подходов в раннем обнаружении дезинформации, подчеркивая особую ценность включения геопространственных данных для прогнозирования реального вреда.