一种新的多语言、多模态自然语言处理(NLP)框架已开发出来,用于提供对与社会动荡相关的错误信息和暴力倾向动态的早期检测。该系统集成了XLM-RoBERTa用于文本表示,以及CLIP用于视觉嵌入,并通过多头注意力机制和辅助特征(如讽刺和地理空间元数据)进行了增强。
- 通过组合多个基准数据集,创建了一个包含138,256个孟加拉语和英语样本的融合数据集。
- 在数据的分层30%子集上进行的实验实现了98%的测试准确率,并具有强大的精确率和召回率。
- 该框架利用地理空间信号来帮助预测由虚假信息驱动的真实世界暴力升级。
结果证明了多模态方法在早期错误信息检测中的有效性,强调了纳入地理空间数据以预测现实世界危害的具体价值。