연구자들은 인간의 피드백에 대한 강화 학습(Reinforcement Learning from Human Feedback)과 직접 선호 최적화(Direct Preference Optimization)를 위한 메타러닝 프레임워크를 제안하여, 언어 간 인간 선호 데이터 가용성의 불균형이라는 과제를 해결합니다. 다른 언어의 선호 데이터를 활용함으로써 이 방법은 매우 적은 샘플 수로 대상 언어에 효과적으로 적응할 수 있는 이전 가능한 초기화를 학습합니다.

  • 이 접근 방식은 메타 보상 모델링과 메타 정책 최적화 설정 모두에 대한 이론적 보장을 제공합니다.
  • 대상 언어 선호 샘플이 단 100개뿐인 극도로 낮은 리소스 설정에서 기준 방법 대비 최대 28%의 승률 향상을 달성합니다.
  • 이 방법은 여러 대상 언어와 모델 규모 전반에 걸쳐 일관되게 기준 방법을 능가합니다.
  • 메타 훈련 언어의 다양한 조합과 대상 언어로부터의 언어적 거리가 다른 경우에도 장점이 유지됩니다.

이 접근 방식은 최소한의 레이블된 데이터로 효과적인 적응을 가능하게 함으로써 다국어 정렬에서의 데이터 부족 문제를 완화하는 데 도움이 됩니다.