本研究は、大規模言語モデルが微細なラベルを使用して反ユダヤ主義的事件の報告を検出・分類する能力を評価する。著者らは、ニュース記事、市民社会レポート、公式記録から派生した専門家が注釈をつけたデータセット上で、OpenAIのGPT-4oとMetaのLlama-3.2-3B-Instructをテストした。

  • GPT-4oはこのタスクにおいて可能性を示しているが、全般的に大幅な性能向上が必要である。
  • プロンプト内で明確な用語定義を提供することは、古典的な反ユダヤ主義的定型句などのレトリック指向的事件の検出を著しく改善する。
  • コンテキスト内例を含めることは、物理的暴行などのアクション指向的事件のラベリングにおいてより効果的である。
  • 大学新聞に関するケーススタディは、大規模言語モデルが早期監視と介入をサポートするために関連する現実世界の問題を浮上させるのに役立つことを示している。

この知見は、複雑な危害を認識するAIの能力における重要なギャップを浮き彫りにし、堅牢な評価フレームワークを設計するために開発者、政策立案者、市民社会間の協力的取り組みの必要性を強調している。