한 연구는 서로 다른 형태의 개념적 기반화가 최첨단 대규모 언어 모델 4개에 걸쳐 반유대주의 감지 및 설명 행동에 어떻게 영향을 미치는지 조사했다. 두 명의 전문가가 주석을 단 데이터셋을 사용하여 연구자들은 반유대주의의 정의적 표현, 세분화된 분류학적 표현, 예시 증강 표현 및 대용량 문맥 표현을 비교했다.
- 세분화된 분류학적 표현은 정밀도를 동시에 낮추면서 재현율을 크게 향상시킨다.
- 상당히 더 큰 개념적 자원을 제공해도 추가적인 정량적 이점은 없다.
- 홀로코스트 이후의 반유대주의는 모델과 구성 전반에 걸쳐 가장 지속적인 과제를 제시한다.
- 분석은 개념적 참조의 과잉 생산, 어휘적 단서에 대한 의존, 과도한 자신감, 그리고 미묘하거나 정당화된 형태의 반유대주의에 대한 어려움을 포함하는 체계적인 한계를 드러냈다.
이 발견들은 반유대주의 감지 및 추론을 위한 개념적으로 기반화된 LLM의 잠재력과 남아 있는 한계 모두를 부각시킨다.