Los investigadores proponen WorldSample, un marco de aumento de datos basado físicamente que cierra un ciclo real-sintético entre rodadas físicas, generación de modelos del mundo y mejora de políticas para el aprendizaje por refuerzo en robots reales. El sistema genera transiciones sintéticas de alta fidelidad a través de un modelo del mundo post-entrenado y emplea Policy-Paced Learning para regular el entrenamiento mediante selección de muestras, equilibrando la augmentación útil contra la sobreestimación de valor.
- Los experimentos en tareas de manipulación robótica con contacto muestran que WorldSample mejora la tasa de éxito de la política en un 28% mientras reduce los pasos de entrenamiento en un 59% en comparación con las líneas base.
- El enfoque mejora la fidelidad visual del modelo del mundo en 19.4dB en PSNR y 0.47 en SSIM sobre el post-entrenamiento solo con demostraciones, validando la efectividad del ciclo real-sintético para el rendimiento tanto de la política como del modelo del mundo.
Este método aborda los altos costos de interacción de desplegar RL en robots reales al reducir las alucinaciones visuales y mitigar errores inducidos por ruido durante el entrenamiento.