연구자들은 문화 우선 관점을 통해 AI 위험과 신뢰성을 평가하도록 설계된 혁신적인 멀티모달, 다지역, 다국어 데이터셋인 Pluralis v0.1을 소개합니다. 6개 아시아태평양 국가와 8개 언어에 걸쳐 6,448개의 프롬프트를 아우르는 이 벤치마크는 서양 데이터셋을 적응시키는 대신 로컬화된 안전 위험을 네이티브로 수집합니다.
- 이 프레임워크는 텍스트와 이미지 입력이 시너지 효과를 내어 특정 법적 또는 문화적 위반을 유발하는 멀티모달 평가 패러다임을 도입합니다.
- Pluralis는 보편적인 안전 위반과 로컬화된 문화적 적절성을 분리하며, 후자를 첫 번째 등급 평가 축으로 확립합니다.
- 저자들은 경험적으로 유도된 문화 분류법으로 분류된 예제에 훈련된 합의 게이트형 LLM-as-a-Judge 앙상블인 Judge-Pluralis를 발표했습니다.
- 관찰 결과, 글로벌 평균 지표가 숨기는 이미지 오식별 및 불충분한 거부 등 지역 특유의 실패 모드가 반복적으로 나타나는 것이 드러났습니다.
이 데이터셋은 향후 혁신의 촉매제 역할을 하며, 다국어 및 다문화 평가 과학을 발전시켜 글로벌 AI 문화 정렬을 더 잘 지원하기를 목표로 합니다.