Para peneliti memperkenalkan Pluralis v0.1, sebuah dataset multimodal, multi-regional, dan multibahasa yang inovatif yang dirancang untuk mengevaluasi risiko dan keandalan AI melalui perspektif berpusat pada budaya. Menjangkau 6.448 prompt di enam negara Asia-Pasifik dan delapan bahasa, benchmark ini secara native mengambil sumber bahaya keamanan yang terlokalisasi daripada mengadaptasi dataset Barat.
- Kerangka kerja ini memperkenalkan paradigma evaluasi multimodal di mana input teks dan gambar secara sinergis memicu pelanggaran hukum atau budaya tertentu.
- Pluralis memisahkan pelanggaran keamanan universal dari kesesuaian budaya yang terlokalisasi, menetapkan yang terakhir sebagai sumbu evaluasi kelas pertama.
- Para penulis menyajikan Judge-Pluralis, sebuah ensemble LLM-as-a-Judge dengan gerbang persetujuan yang dilatih pada contoh yang diklasifikasikan dalam taksonomi budaya yang diturunkan secara empiris.
- Pengamatan mengungkapkan mode kegagalan berulang dan spesifik-lokal seperti kesalahan identifikasi gambar dan penolakan yang tidak memadai yang disembunyikan oleh metrik yang dirata-ratakan secara global.
Dataset ini berfungsi sebagai katalisator untuk inovasi masa depan, bertujuan untuk memajukan ilmu evaluasi multibahasa dan multikultural guna mendukung keselarasan budaya AI global dengan lebih baik.