Pesquisadores apresentam o Pluralis v0.1, um conjunto de dados multimodal, multirregional e multilíngue projetado para avaliar riscos e confiabilidade da IA através de uma perspectiva centrada na cultura. Abrangendo 6.448 prompts em seis países da Ásia-Pacífico e oito idiomas, o benchmark origina nativamente perigos de segurança localizados em vez de adaptar conjuntos de dados ocidentais.
- O framework introduz um paradigma de avaliação multimodal onde entradas de texto e imagem ativam sinergicamente violações legais ou culturais específicas.
- Pluralis separa violações universais de segurança da adequação cultural localizada, estabelecendo esta última como um eixo de avaliação de primeira classe.
- Os autores apresentam o Judge-Pluralis, uma ensemble LLM-as-a-Judge com gateamento por acordo treinada em exemplos classificados em uma taxonomia cultural derivada empiricamente.
- Observações revelam modos de falha recorrentes e específicos da localidade, como identificação incorreta de imagens e recusas inadequadas, que são ocultados por métricas globalmente médias.
O conjunto de dados serve como catalisador para futuras inovações, visando avançar a ciência da avaliação multilíngue e multicultural para melhor apoiar o alinhamento cultural global da IA.