Para peneliti mengusulkan kerangka kerja meta-learning untuk Reinforcement Learning from Human Feedback dan Direct Preference Optimization untuk mengatasi tantangan ketersediaan data preferensi manusia yang tidak merata di berbagai bahasa. Dengan memanfaatkan data preferensi dari bahasa lain, metode ini mempelajari inisialisasi yang dapat ditransfer yang memungkinkan adaptasi efektif ke bahasa target dengan menggunakan sangat sedikit sampel.
- Pendekatan ini memberikan jaminan teoretis untuk pengaturan pemodelan meta-reward dan optimisasi meta-policy.
- Dalam pengaturan sumber daya yang sangat rendah dengan hanya 100 sampel preferensi bahasa target, metode ini mencapai peningkatan win-rate hingga 28% dibandingkan metode dasar.
- Metode ini secara konsisten mengungguli metode dasar di berbagai bahasa target dan skala model.
- Keuntungan dipertahankan di berbagai kombinasi bahasa meta-training dan jarak linguistik yang bervariasi dari bahasa target.
Pendekatan ini membantu mengurangi masalah kelangkaan data dalam penyesuaian multibahasa dengan memungkinkan adaptasi efektif dengan data berlabel minimal.