Это исследование оценивает способность больших языковых моделей обнаруживать и классифицировать сообщения об антисемитских событиях с использованием детализированных меток. Авторы протестировали GPT-4o от OpenAI и Llama-3.2-3B-Instruct от Meta на наборах данных, размеченных экспертами, полученных из новостных статей, отчетов гражданского общества и официальных записей.
- GPT-4o демонстрирует потенциал для этой задачи, хотя требуются значительные улучшения производительности в целом.
- Предоставление четких определений терминов в промптах значительно улучшает обнаружение событий, ориентированных на риторику, таких как классические антисемитские тропы.
- Включение примеров в контекст более эффективно для маркировки событий, ориентированных на действия, таких как физическое нападение.
- Кейс-стади с участием колледжных газет показывает, что LLM могут помочь выявить соответствующие реальные события для поддержки раннего мониторинга и вмешательства.
Результаты подчеркивают критические пробелы в способности ИИ распознавать сложные формы вреда и указывают на необходимость совместных усилий разработчиков, политиков и гражданского общества по созданию надежных систем оценки.