Les chercheurs proposent un cadre d'apprentissage par méta-apprentissage pour l'apprentissage par renforcement à partir du retour humain (Reinforcement Learning from Human Feedback) et l'optimisation directe des préférences (Direct Preference Optimization) afin de relever le défi de la disponibilité inégale des données de préférence humaine entre les langues. En exploitant les données de préférence d'autres langues, la méthode apprend une initialisation transférable qui permet une adaptation efficace à une langue cible en utilisant très peu d'échantillons.
- L'approche fournit des garanties théoriques pour les paramètres de méta-modélisation des récompenses et d'optimisation des politiques métabasées.
- Dans des configurations extrêmement faibles en ressources avec seulement 100 échantillons de préférence de la langue cible, elle atteint jusqu'à une amélioration du taux de victoire de 28 % par rapport aux méthodes de référence.
- La méthode surpasse constamment les références sur plusieurs langues cibles et échelles de modèles.
- Les avantages sont conservés à travers différentes combinaisons de langues d'entraînement métabasées et des distances linguistiques variables par rapport aux langues cibles.
Cette approche aide à atténuer les problèmes de pénurie de données dans l'alignement multilingue en permettant une adaptation efficace avec un minimum de données étiquetées.