Este estudo avalia a capacidade dos grandes modelos de linguagem de detectar e classificar relatórios de eventos antissemitas usando rótulos granulares. Os autores testaram o GPT-4o da OpenAI e o Llama-3.2-3B-Instruct da Meta em conjuntos de dados anotados por especialistas derivados de artigos de notícias, relatórios da sociedade civil e registros oficiais.
- O GPT-4o demonstra potencial para esta tarefa, embora melhorias substanciais no desempenho sejam necessárias em geral.
- Fornecer definições claras de termos nos prompts melhora significativamente a detecção de eventos orientados à retórica, como tropos antissemitas clássicos.
- Incluir exemplos no contexto é mais eficaz para rotular eventos orientados à ação, como agressão física.
- Um estudo de caso envolvendo jornais universitários mostra que os LLMs podem ajudar a destacar eventos relevantes do mundo real para apoiar monitoramento e intervenção precoces.
As descobertas destacam lacunas críticas na capacidade da IA de reconhecer danos complexos e sublinham a necessidade de esforços colaborativos entre desenvolvedores, formuladores de políticas e sociedade civil para projetar estruturas de avaliação robustas.