Исследователи предлагают фреймворк метаобучения для обучения с подкреплением на основе отзывов людей (RLHF) и прямой оптимизации предпочтений (DPO), чтобы решить проблему неравномерной доступности данных о человеческих предпочтениях для разных языков. Используя данные о предпочтениях из других языков, метод учит переносимую начальную инициализацию, которая позволяет эффективно адаптироваться к целевому языку с использованием очень малого количества примеров.
- Подход обеспечивает теоретические гарантии как для метаобучения функции вознаграждения (meta-reward modeling), так и для метаоптимизации политики (meta-policy optimization).
- В условиях экстремальной нехватки данных, когда доступно лишь 100 предпочтительных примеров на целевом языке, метод достигает улучшения показателя выигрыша до 28% по сравнению с базовыми методами.
- Метод стабильно превосходит базовые подходы для множества целевых языков и масштабов моделей.
- Преимущества сохраняются при различных комбинациях языков метаобучения и разной лингвистической близости к целевым языкам.
Этот подход помогает смягчить проблему нехватки данных в многоязычной настройке, позволяя эффективно адаптироваться при минимальном количестве размеченных данных.