Este estudio evalúa la capacidad de los modelos de lenguaje grandes para detectar y clasificar informes de eventos antisemitas utilizando etiquetas detalladas. Los autores probaron GPT-4o de OpenAI y Llama-3.2-3B-Instruct de Meta en conjuntos de datos anotados por expertos derivados de artículos de noticias, informes de la sociedad civil y registros oficiales.
- GPT-4o demuestra potencial para esta tarea, aunque se requieren mejoras sustanciales en el rendimiento en general.
- Proporcionar definiciones claras de términos en los prompts mejora significativamente la detección de eventos orientados a la retórica, como los tópicos antisemitas clásicos.
- Incluir ejemplos en contexto es más efectivo para etiquetar eventos orientados a la acción, como agresiones físicas.
- Un estudio de caso que involucra periódicos universitarios muestra que los LLM pueden ayudar a destacar eventos relevantes del mundo real para apoyar el monitoreo e intervención temprana.
Los hallazgos destacan brechas críticas en la capacidad de la IA para reconocer daños complejos y subrayan la necesidad de esfuerzos colaborativos entre desarrolladores, formuladores de políticas y la sociedad civil para diseñar marcos de evaluación robustos.