研究者らは、人間のフィードバックからの強化学習（Reinforcement Learning from Human Feedback）と直接好意最適化（Direct Preference Optimization）のためのメタラーニングフレームワークを提案し、言語間で人間の好意データの可用性が不均等であるという課題に対処します。他の言語の好意データを活用することで、この手法は非常に少ないサンプル数で対象言語に効果的に適応できる、移植可能な初期化を学習します。

  • このアプローチは、メタ報酬モデリングとメタポリシー最適化の両方の設定に対して理論的保証を提供します。
  • 100件のターゲット言語好意サンプルのみという極端な低リソース設定において、ベースライン手法と比較して最大28%の勝率向上を達成します。
  • この手法は、複数のターゲット言語とモデルスケールにわたって一貫してベースラインを上回ります。
  • メタトレーニング言語の異なる組み合わせや、ターゲット言語からの言語的距離が異なる場合でも、利点は維持されます。

このアプローチは、最小限のラベル付きデータで効果的な適応を可能にすることで、多言語アライメントにおけるデータ不足の問題を緩和するのに役立ちます。