Исследователи представляют PLURAL, крупномасштабный набор предпочтений, предназначенный для того, чтобы большие языковые модели отражали разнообразные глобальные ценности, а не преимущественно западные. Набор данных основан на Интегрированном опросе ценностей, который охватывает 92 страны, и содержит около 500 000 синтетических предпочтительных триплетов, представляющих людей из 20 разнообразных стран.
- PLURAL преобразует репрезентативные национальные ответы опросов в реалистичные сценарии, сохраняющие нормативные сигналы ценностей.
- Валидация на уровне набора данных подтверждает, что он сохраняет как межстрановые различия, так и внутристрановое разнообразие из исходного опроса.
- Автоматическая оценка показывает, что обучение на PLURAL снижает среднюю абсолютную ошибку согласования культурного профиля до 27,7% по сравнению с сильными базовыми моделями.
- Слепые человеческие оценки с участием 176 респондентов в Индии, Бразилии и Японии оценили ответы, выровненные по PLURAL, как более репрезентативные для их национальных ценностей.
Авторы считают это важным, поскольку это предлагает масштабируемый ресурс для плюралистического согласования, позволяя моделям лучше представлять разнообразные системы ценностей в глобальном масштабе.