新しい多言語・マルチモーダル自然言語処理（NLP）フレームワークが開発され、社会的混乱に関連する誤情報や暴力傾向のある動態の早期検出を提供します。このシステムは、テキスト表現にXLM-RoBERTaを、視覚埋め込みにCLIPを使用し、マルチヘッド注意機構および皮肉や地理空間メタデータなどの補助機能で強化されています。

  • 複数のベンチマークデータを組み合わせることで、138,256のベンガル語と英語のサンプルを含む融合データセットが作成されました。
  • データの層化された30%サブセットで実施された実験では、高い精度と再現性とともに98%のテスト精度を達成しました。
  • このフレームワークは地理空間信号を利用し、誤情報によって引き起こされる現実世界の暴力のエスカレーションを予測するのに役立ちます。

これらの結果は、早期の誤情報検出におけるマルチモーダルアプローチの有効性を示しており、現実の危害を予測するために地理空間データを取り込むことの特定の価値を強調しています。