Исследователи представляют Pluralis v0.1, новый мультимодальный, мультирегиональный и многоязычный датасет, предназначенный для оценки рисков ИИ и его надежности через призму приоритета культуры. Охватывая 6 448 промптов из шести стран Азиатско-Тихоокеанского региона на восьми языках, этот бенчмарк изначально использует локализованные угрозы безопасности, а не адаптирует западные датасеты.
- Фреймворк вводит мультимодальную парадигму оценки, где текстовые и визуальные входные данные синергетически вызывают конкретные правовые или культурные нарушения.
- Pluralis разделяет универсальные нарушения безопасности и локализованную культурную уместность, устанавливая последнюю в качестве первоклассной оси оценки.
- Авторы представляют Judge-Pluralis — ансамбль LLM-as-a-Judge с гейтированием по согласию, обученный на примерах, классифицированных в эмпирически выведенной культурной таксономии.
- Наблюдения выявляют повторяющиеся, специфичные для локации режимы отказов, такие как неверная идентификация изображений и недостаточные отказы, которые скрываются глобально усредненными метриками.
Датасет служит катализатором будущих инноваций, стремясь продвинуть науку о многоязычной и мультикультурной оценке для лучшей поддержки глобальной культурной согласованности ИИ.