이 연구는 대규모 언어 모델이 세분화된 라벨을 사용하여 반유대주의 사건 보고를 감지하고 분류하는 능력을 평가합니다. 저자들은 뉴스 기사, 시민 사회 보고서, 공식 기록에서 파생된 전문가 주석이 달린 데이터셋에서 OpenAI의 GPT-4o와 Meta의 Llama-3.2-3B-Instruct를 테스트했습니다.

  • GPT-4o는 이 작업에 잠재력을 보여주지만 전반적인 성능 개선이 필요합니다.
  • 프롬프트에 명확한 용어 정의를 제공하면 고전적 반유대주의 관용구와 같은 수사학 중심 사건의 감지를 크게 향상시킵니다.
  • 문맥 내 예제를 포함하는 것은 물리적 폭행과 같은 행동 중심 사건 라벨링에 더 효과적입니다.
  • 대학 신문 사례 연구는 LLMs가 조기 모니터링 및 개입을 지원하기 관련 실제 세계 이벤트를 부각시키는 데 도움이 될 수 있음을 보여줍니다.

이 결과는 AI의 복잡한 해악 인식 능력에서 중요한 격차를 강조하고, 견고한 평가 프레임워크를 설계하기 위해 개발자, 정책 입안자, 시민 사회 간의 협력적 노력의 필요성을 강조합니다.