研究人员推出了 Pluralis v0.1，这是一个新颖的多模态、多区域和多语言数据集，旨在通过以文化为优先的视角来评估 AI 的风险和可靠性。该基准测试涵盖六个亚太国家的六种语言中的 6,448 个提示词，原生地收集本地化的安全风险，而非改编西方数据集。

  • 该框架引入了多模态评估范式，其中文本和图像输入协同触发特定的法律或文化违规。
  • Pluralis 将普遍的安全违规与本地化的文化适宜性区分开来，将后者确立为一等评估轴。
  • 作者提出了 Judge-Pluralis，这是一个基于示例分类的经验派生文化分类法训练的、带有协议门控的 LLM-as-a-Judge 集成模型。
  • 观察结果揭示了反复出现的、特定于地区的故障模式，如图像误识别和不充分的拒绝响应，这些都被全球平均指标所掩盖。

该数据集作为未来创新的催化剂，旨在推进多语言和多文化评估科学，以更好地支持全球 AI 文化对齐。