Studi ini mengevaluasi kemampuan model bahasa besar untuk mendeteksi dan mengklasifikasikan laporan peristiwa antisemit menggunakan label yang sangat spesifik. Para penulis menguji GPT-4o dari OpenAI dan Llama-3.2-3B-Instruct dari Meta pada dataset yang dianotasi oleh ahli, yang berasal dari artikel berita, laporan masyarakat sipil, dan catatan resmi.
- GPT-4o menunjukkan potensi untuk tugas ini, meskipun peningkatan kinerja yang substansial diperlukan secara menyeluruh.
- Menyediakan definisi istilah yang jelas dalam prompt secara signifikan meningkatkan deteksi peristiwa berorientasi retorika, seperti trope antisemit klasik.
- Mencantumkan contoh dalam konteks lebih efektif untuk pelabelan peristiwa berorientasi tindakan, seperti penyerangan fisik.
- Studi kasus yang melibatkan koran perguruan tinggi menunjukkan bahwa LLM dapat membantu menyoroti peristiwa dunia nyata yang relevan untuk mendukung pemantauan dan intervensi dini.
Temuan ini menyoroti kesenjangan kritis dalam kemampuan AI untuk mengenali bahaya kompleks dan menekankan perlunya upaya kolaboratif di antara pengembang, pembuat kebijakan, dan masyarakat sipil untuk merancang kerangka evaluasi yang kuat.