研究人员提出了一种用于人类反馈强化学习（RLHF）和直接偏好优化（DPO）的元学习框架，以解决不同语言间人类偏好数据可用性不均的挑战。通过利用其他语言的偏好数据，该方法学习到一个可迁移的初始化参数，使得仅用极少量样本即可有效地适配目标语言。

  • 该方法为元奖励建模和元策略优化设置均提供了理论保证。
  • 在仅有100个目标语言偏好样本的极低资源设置下，其胜率比基线方法提高了多达28%。
  • 该方法在多种目标语言和模型规模上持续优于基线方法。
  • 优势在不同元训练语言组合以及与目标语言不同的语言学距离中均得以保留。

这种方法通过实现用极少标注数据进行有效适配，有助于缓解多语言对齐中的数据稀缺问题。