تقيّم هذه الدراسة قدرة النماذج اللغوية الكبيرة على اكتشاف وتصنيف تقارير الأحداث المعادية للسامية باستخدام تسميات دقيقة. اختبر المؤلفون GPT-4o من OpenAI و Llama-3.2-3B-Instruct من Meta على مجموعات بيانات مُعلَّمة بواسطة خبراء، مستمدة من مقالات إخبارية وتقارير المجتمع المدني والسجلات الرسمية.
- يُظهر GPT-4o إمكانات لهذه المهمة، رغم الحاجة إلى تحسينات كبيرة في الأداء بشكل عام.
- يوفر تقديم تعريفات واضحة للمصطلحات في المطالبات تحسناً كبيراً في اكتشاف الأحداث الموجهة نحو البلاغة، مثل التروبيوهات المعادية للسامية الكلاسيكية.
- يُعد تضمين أمثلة في السياق أكثر فعالية لتسمية الأحداث الموجهة نحو العمل، مثل الاعتداء الجسدي.
- تُظهر دراسة حالة تتضمن صحف الجامعات أن النماذج اللغوية الكبيرة يمكن أن تساعد في إبراز أحداث العالم الحقيقي ذات الصلة لدعم المراقبة والتدخل المبكر.
تسلط النتائج الضوء على فجوات حرجة في قدرة الذكاء الاصطناعي على التعرف على الأضرار المعقدة وتؤكد الحاجة إلى جهود تعاونية بين المطورين وصانعي السياسات والمجتمع المدني لتصميم أطر تقييم قوية.