研究人员推出了PLURAL,这是一个大规模偏好数据集,旨在帮助大型语言模型反映多样化的全球价值观,而非主要反映西方价值观。该数据集基于涵盖92个国家的综合价值观调查,包含约50万个合成偏好三元组,代表了来自20个多样化国家的人们。

  • PLURAL将具有全国代表性的调查响应转化为保留规范性价值信号的真实场景。
  • 数据集级别的验证确认它保留了原始调查中既有的跨国差异和国内多样性。
  • 自动评估显示,与强基线相比,在PLURAL上训练可将文化画像对齐的平均绝对误差降低高达27.7%。
  • 来自印度、巴西和日本的176名参与者进行的盲评认为,经过PLURAL对齐的响应更能代表他们的国家价值观。

作者认为这很重要,因为它为多元主义对齐提供了一个可扩展的资源,使模型能够更好地在全球范围内代表多样化的价值体系。