Los investigadores proponen un marco de meta-aprendizaje para el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización Directa de Preferencias (DPO) para abordar el desafío de la disponibilidad desigual de datos de preferencia humana entre idiomas. Al aprovechar los datos de preferencia de otros idiomas, el método aprende una inicialización transferible que permite una adaptación efectiva a un idioma objetivo utilizando muy pocas muestras.
- El enfoque proporciona garantías teóricas tanto para la configuración de modelado de recompensas meta como para la optimización de políticas meta.
- En configuraciones de recursos extremadamente bajos con solo 100 muestras de preferencia del idioma objetivo, logra mejoras en la tasa de victoria de hasta el 28% sobre los métodos base.
- El método supera consistentemente a las líneas base en múltiples idiomas objetivo y escalas de modelos.
- Las ventajas se mantienen en diferentes combinaciones de idiomas de entrenamiento meta y distancias lingüísticas variables desde los idiomas objetivo.
Este enfoque ayuda a mitigar los problemas de escasez de datos en la alineación multilingüe al permitir una adaptación efectiva con datos etiquetados mínimos.