Sebuah studi menyelidiki bagaimana berbagai bentuk penjangkaran konseptual memengaruhi deteksi dan perilaku penjelasan antisemitisme di empat model bahasa besar (LLM) terkini. Menggunakan dua dataset yang dianotasi oleh ahli, para peneliti membandingkan representasi definisional, taksonomi halus, diperkaya contoh, dan konteks besar dari antisemitisme.
- Representasi taksonomi halus secara substansial meningkatkan recall sambil secara simultan mengurangi presisi.
- Menyediakan sumber daya konseptual yang jauh lebih besar tidak memberikan manfaat kuantitatif tambahan.
- Antisemitisme pasca-Holokaus menimbulkan tantangan paling persisten di seluruh model dan konfigurasi.
- Analisis mengungkap keterbatasan sistematis termasuk produksi berlebihan referensi konseptual, ketergantungan pada isyarat leksikal, kepercayaan diri berlebih, dan kesulitan dengan bentuk antisemitisme yang halus atau justifikasi.
Temuan ini menyoroti potensi serta keterbatasan yang masih tersisa dari LLM yang berdasar konsep untuk mendeteksi dan bernalar tentang antisemitisme.