Pesquisadores propõem um framework de meta-aprendizado para Aprendizado por Reforço a partir de Feedback Humano (RLHF) e Otimização Direta de Preferência (DPO) para abordar o desafio da disponibilidade desigual de dados de preferência humana entre idiomas. Ao aproveitar os dados de preferência de outros idiomas, o método aprende uma inicialização transferível que permite uma adaptação eficaz a um idioma alvo usando muito poucas amostras.
- A abordagem fornece garantias teóricas tanto para configurações de modelagem de recompensa meta quanto de otimização de política meta.
- Em configurações de recursos extremamente baixos com apenas 100 amostras de preferência do idioma alvo, ela alcança melhorias na taxa de vitória de até 28% em relação aos métodos base.
- O método supera consistentemente as linhas de base em múltiplos idiomas alvo e escalas de modelos.
- As vantagens são mantidas através de diferentes combinações de idiomas de treinamento meta e distâncias linguísticas variáveis em relação aos idiomas alvo.
Essa abordagem ajuda a mitigar problemas de escassez de dados no alinhamento multilíngue, permitindo uma adaptação eficaz com dados rotulados mínimos.