研究者らは、文化を最優先する視点を通じてAIのリスクと信頼性を評価するために設計された革新的なマルチモーダル、多地域、多言語データセットであるPluralis v0.1を紹介している。6,448件のプロンプトが6つのアジア太平洋諸国と8つの言語にわたってカバーしており、このベンチマークは西洋のデータセットを適応させるのではなく、ローカライズされた安全上の危険性をネイティブに収集している。

  • このフレームワークは、テキストと画像の入力が相乗的に特定の法的または文化的違反を引き起こすマルチモーダル評価パラダイムを導入する。
  • Pluralisは普遍的な安全違反とローカライズされた文化的適切さを分離し、後者を第一級の評価軸として確立する。
  • 著者らは、経験的に導出された文化分類法で分類された例に訓練された合意ゲート付きLLM-as-a-JudgeアンサンブルであるJudge-Pluralisを発表している。
  • 観察結果から、グローバルに平均化された指標が隠蔽してしまうような、画像の誤識別や不十分な拒否など、地域固有の失敗モードが繰り返 occurring することが明らかになった。

このデータセットは将来のイノベーションの触媒として機能し、多言語・多文化的評価の科学を進展させ、グローバルなAIの文化的整合性をよりよく支援することを目指している。