शोधकर्ताओं ने Pluralis v0.1 पेश किया, एक नवीन बहुआयामी, बहु-क्षेत्रीय और बहुभाषी डेटासेट जिसे संस्कृति-पहले दृष्टिकोण के माध्यम से AI जोखिम और विश्वसनीयता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। एशिया-प्रशांत क्षेत्र के छह देशों और आठ भाषाओं में 6,448 प्रॉम्प्ट्स को कवर करते हुए, यह मानदंड पश्चिमी डेटासेट को अनुकूलित करने के बजाय स्थानीय सुरक्षा खतरों को मूल रूप से स्रोत करता है।
- फ्रेमवर्क एक बहुआयामी मूल्यांकन परिप्रेक्ष्य पेश करता है जहाँ पाठ और छवि इनपुट विशिष्ट कानूनी या सांस्कृतिक उल्लंघनों को सहयोगात्मक रूप से ट्रिगर करते हैं।
- Pluralis सार्वभौमिक सुरक्षा उल्लंघनों को स्थानीय सांस्कृतिक उपयुक्तता से अलग करता है, दूसरे को एक प्रथम-श्रेणी मूल्यांकन अक्ष के रूप में स्थापित करते हुए।
- लेखकों ने Judge-Pluralis पेश किया, जो एक सहमति-गेटेड LLM-as-a-Judge एनसेम्बल है जिसे एक प्रायोगिक रूप से व्युत्पन्न सांस्कृतिक वर्गीकरण में वर्गीकृत उदाहरणों पर प्रशिक्षित किया गया था।
- अवलोकनों ने दोहराए जाने वाले, स्थानीय-विशिष्ट विफलता मोड को उजागर किया जैसे छवि गलत पहचान और अपर्याप्त अस्वीकृति जो वैश्विक रूप से औसत मेट्रिक्स द्वारा छिपे हुए हैं।
डेटासेट भविष्य की नवाचार के लिए एक उत्प्रेरक के रूप में कार्य करता है, बेहतर वैश्विक AI सांस्कृतिक अनुकूलन का समर्थन करने के लिए बहुभाषी और बहुसांस्कृतिक मूल्यांकन के विज्ञान को आगे बढ़ाने का लक्ष्य रखता है।