يقدم الباحثون Pluralis v0.1، وهو مجموعة بيانات مبتكرة متعددة الوسائط ومتعددة المناطق ومتعددة اللغات مصممة لتقييم مخاطر الذكاء الاصطناعي وموثوقيته من خلال منظور يركز على الثقافة. يمتد المعيار عبر 6,448 طلبًا في ست دول في منطقة آسيا والمحيط الهادئ وثمان لغات، ويجمع بشكل أصلي مخاطر أمان محلية بدلاً من تكييف مجموعات البيانات الغربية.
- يقدم الإطار نموذج تقييم متعدد الوسائط حيث تحفز المدخلات النصية والصور بشكل تآزري انتهاكات قانونية أو ثقافية محددة.
- يفصل Pluralis بين انتهاكات الأمان العالمية والملاءمة الثقافية المحلية، ويؤسس للثانية كمحور تقييم من الدرجة الأولى.
- يقدم المؤلفون Judge-Pluralis، وهو مجموعة نماذج LLM-as-a-Judge مقيدة باتفاق مدربة على أمثلة مصنفة في تصنيف ثقافي مستمد تجريبيًا.
- تكشف الملاحظات عن أنماط فشل متكررة ومحددة محليًا مثل سوء تحديد الصور والرفض غير الكافي التي تخفيها المقاييس المتوسطة عالميًا.
تعمل مجموعة البيانات كمحفز للابتكار المستقبلي، بهدف تقدم علم التقييم متعدد اللغات والثقافات لدعم مواءمة الثقافة العالمية للذكاء الاصطناعي بشكل أفضل.