Cette étude évalue la capacité des grands modèles de langage à détecter et classer les rapports d'événements antisémites à l'aide d'étiquettes fines. Les auteurs ont testé GPT-4o d'OpenAI et Llama-3.2-3B-Instruct de Meta sur des ensembles de données annotés par des experts, dérivés d'articles de presse, de rapports de la société civile et de dossiers officiels.
- GPT-4o démontre un potentiel pour cette tâche, bien que des améliorations substantielles des performances soient nécessaires dans l'ensemble.
- La fourniture de définitions claires des termes dans les invites améliore considérablement la détection des événements orientés vers la rhétorique, tels que les tropes antisémites classiques.
- L'inclusion d'exemples en contexte est plus efficace pour l'étiquetage des événements orientés vers l'action, tels que les agressions physiques.
- Une étude de cas impliquant des journaux universitaires montre que les LLMs peuvent aider à mettre en lumière des événements réels pertinents pour soutenir la surveillance et l'intervention précoces.
Les résultats mettent en évidence des lacunes critiques dans la capacité de l'IA à reconnaître les préjudices complexes et soulignent le besoin d'efforts collaboratifs entre les développeurs, les décideurs politiques et la société civile pour concevoir des cadres d'évaluation robustes.