Les chercheurs présentent Pluralis v0.1, un ensemble de données multimodal, multi-régional et multilingue novateur conçu pour évaluer les risques et la fiabilité de l'IA à travers une perspective axée sur la culture. S'étendant sur 6 448 invites dans six pays d'Asie-Pacifique et huit langues, le benchmark extrait nativement des dangers de sécurité localisés plutôt que d'adapter des ensembles de données occidentaux.
- Le cadre introduit un paradigme d'évaluation multimodal où les entrées textuelles et visuelles déclenchent synergiquement des violations légales ou culturelles spécifiques.
- Pluralis dissocie les violations universelles de la sécurité de l'adéquation culturelle localisée, établissant cette dernière comme un axe d'évaluation de premier ordre.
- Les auteurs présentent Judge-Pluralis, un ensemble LLM-as-a-Judge à porte d'accord entraîné sur des exemples classés dans une taxonomie culturelle dérivée empiriquement.
- Les observations révèlent des modes d'échec récurrents et spécifiques au lieu, tels que les mauvaises identifications d'images et les refus inadéquats, que masquent les métriques moyennées globalement.
L'ensemble de données sert de catalyseur pour l'innovation future, visant à faire avancer la science de l'évaluation multilingue et multiculturaliste afin de mieux soutenir l'alignement culturel mondial de l'IA.