Los investigadores presentan Pluralis v0.1, un conjunto de datos multimodal, multirregional y multilingüe diseñado para evaluar el riesgo y la fiabilidad de la IA desde una perspectiva centrada en la cultura. Abarcando 6.448 prompts en seis países del Indo-Pacífico y ocho idiomas, el benchmark obtiene nativamente peligros de seguridad localizados en lugar de adaptar conjuntos de datos occidentales.
- El marco introduce un paradigma de evaluación multimodal donde las entradas de texto e imagen activan sinérgicamente violaciones legales o culturales específicas.
- Pluralis separa las violaciones universales de seguridad de la adecuación cultural localizada, estableciendo esta última como un eje de evaluación de primera clase.
- Los autores presentan Judge-Pluralis, un conjunto de LLM-as-a-Judge con puerta de acuerdo entrenado en ejemplos clasificados en una taxonomía cultural derivada empíricamente.
- Las observaciones revelan modos de fallo recurrentes y específicos de la localidad, como malidentificaciones de imágenes y rechazos inadecuados, que las métricas promediadas a nivel global ocultan.
El conjunto de datos sirve como catalizador para futuras innovaciones, con el objetivo de avanzar en la ciencia de la evaluación multilingüe y multicultural para apoyar mejor la alineación cultural global de la IA.