यह अध्ययन बड़े भाषा मॉडलों की एंटीसेमिटिक घटनाओं की रिपोर्टों को डिटेक्ट और क्लासिफाई करने की क्षमता का आकलन करता है, जिसमें फाइन-ग्रेनेड लेबल्स का उपयोग किया गया है। लेखकों ने न्यूज़ आर्टिकल्स, सिविल सोसायटी रिपोर्ट्स और ऑफिशियल रिकॉर्ड्स से प्राप्त एक्सपर्ट-एनोटेटेड डेटासेट पर OpenAI के GPT-4o और Meta के Llama-3.2-3B-Instruct का परीक्षण किया।
- इस कार्य के लिए GPT-4o में क्षमता दिखाई देती है, हालांकि सामान्य रूप से प्रदर्शन में महत्वपूर्ण सुधार की आवश्यकता है।
- प्रॉम्प्ट्स में स्पष्ट शब्द परिभाषाएं प्रदान करने से क्लासिकल एंटीसेमिटिक ट्रॉप्स जैसे रेटोरिक-ओरिएंटेड इवेंट्स के डिटेक्शन में महत्वपूर्ण सुधार होता है।
- फिजिकल असॉल्ट जैसे एक्शन-ओरिएंटेड इवेंट्स को लेबल करने के लिए इन-कॉन्टेक्स उदाहरण शामिल करना अधिक प्रभावी है।
- कॉलेज न्यूज़पेपर्स से जुड़ा एक केस स्टडी दिखाता है कि LLMs प्राइमरी मॉनिटरिंग और इंटरवेंशन का समर्थन करने के लिए प्रासंगिक रियल-वर्ल्ड इवेंट्स को उजागर करने में मदद कर सकते हैं।
परिणाम AI की जटिल हानियों को पहचानने की क्षमता में महत्वपूर्ण अंतराल को उजागर करते हैं और डेवलपर्स, पॉलिसीमेकर्स और सिविल सोसायटी के बीच मजबूत एvaluation फ्रेमवर्क्स डिज़ाइन करने के लिए सहयोगात्मक प्रयासों की आवश्यकता पर जोर देते हैं।