本研究评估了大型语言模型使用细粒度标签检测和分类反犹太主义事件报告的能力。作者使用来自新闻报道、民间社会报告和官方记录的专家标注数据集,测试了OpenAI的GPT-4o和Meta的Llama-3.2-3B-Instruct。

  • GPT-4o展示了该任务的潜力,尽管整体性能需要大幅提升。
  • 在提示中提供清晰的术语定义显著提高了对修辞导向事件(如经典反犹太主义陈词滥调)的检测。
  • 包含上下文示例对于标记行动导向事件(如人身袭击)更为有效。
  • 涉及大学报纸的案例研究表明,LLM可以帮助揭示相关的现实世界事件,以支持早期监测和干预。

研究结果突显了AI在识别复杂伤害方面的关键差距,并强调了开发者、政策制定者和民间社会之间开展合作努力以设计稳健评估框架的必要性。