Les chercheurs proposent WorldSample, un cadre d'augmentation de données ancré physiquement qui ferme une boucle réel-synthétique entre les rollouts physiques, la génération de modèles du monde et l'amélioration des politiques pour l'apprentissage par renforcement sur des robots réels. Le système génère des transitions synthétiques de haute fidélité via un modèle du monde post-entraîné et emploie Policy-Paced Learning pour réguler l'entraînement via la sélection d'échantillons, équilibrant l'augmentation utile contre la surestimation de la valeur.

  • Les expériences sur des tâches de manipulation robotique riches en contacts montrent que WorldSample améliore le taux de succès de la politique de 28 % tout en réduisant les étapes d'entraînement de 59 % par rapport aux lignes de base.
  • L'approche améliore la fidélité visuelle du modèle du monde de 19,4 dB en PSNR et de 0,47 en SSIM par rapport au post-entraînement uniquement sur démonstration, validant l'efficacité de la boucle réel-synthétique pour les performances de la politique et du modèle du monde.

Cette méthode adresse les coûts élevés d'interaction du déploiement du RL sur des robots réels en réduisant les hallucinations visuelles et en atténuant les erreurs induites par le bruit pendant l'entraînement.