Pesquisadores propõem o WorldSample, um framework de aumento de dados fisicamente fundamentado que fecha um ciclo real-sintético entre rollouts físicos, geração de modelo do mundo e melhoria de política para aprendizado por reforço em robôs reais. O sistema gera transições sintéticas de alta fidelidade através de um modelo do mundo pós-treinado e emprega Policy-Paced Learning para regular o treinamento via seleção de amostras, equilibrando a augmentação útil contra a superestimação de valor.
- Experimentos em tarefas de manipulação robótica com muito contato mostram que o WorldSample melhora a taxa de sucesso da política em 28% enquanto reduz os passos de treinamento em 59% em comparação com as linhas de base.
- A abordagem melhora a fidelidade visual do modelo do mundo em 19.4dB no PSNR e 0.47 no SSIM sobre o pós-treinamento apenas com demonstrações, validando a eficácia do ciclo real-sintético para o desempenho tanto da política quanto do modelo do mundo.
Este método aborda os altos custos de interação de implantar RL em robôs reais ao reduzir alucinações visuais e mitigar erros induzidos por ruído durante o treinamento.