Para peneliti memperkenalkan PLURAL, sebuah dataset preferensi skala besar yang dirancang untuk membantu model bahasa besar mencerminkan nilai global yang beragam daripada yang terutama Barat. Dataset ini berlandaskan Survei Nilai Terintegrasi, yang mencakup 92 negara, dan berisi sekitar 500.000 triplet preferensi sintetis yang mewakili orang-orang dari 20 negara yang beragam.
- PLURAL mengubah respons survei yang mewakili nasional menjadi skenario realistis yang mempertahankan sinyal nilai normatif.
- Validasi tingkat dataset mengonfirmasi bahwa hal itu mempertahankan perbedaan antar-negara dan keragaman dalam-negara dari survei asli.
- Evaluasi otomatis menunjukkan bahwa pelatihan pada PLURAL mengurangi kesalahan absolut rata-rata dalam penyesuaian profil budaya hingga 27,7% dibandingkan dengan baseline yang kuat.
- Evaluasi manusia buta dengan 176 peserta di India, Brasil, dan Jepang menilai respons yang disesuaikan dengan PLURAL sebagai lebih mewakili nilai nasional mereka.
Para penulis menganggap ini penting karena menawarkan sumber daya yang dapat diskalakan untuk penyesuaian pluralistik, memungkinkan model untuk lebih baik mewakili sistem nilai yang beragam secara global.