研究人员提出了 WorldSample，这是一个物理 grounded 的数据增强框架，通过在物理 rollout、世界模型生成和策略改进之间闭合真实-合成循环，用于真实机器人上的强化学习。该系统通过预训练的世界模型生成高保真合成转换，并采用 Policy-Paced Learning 通过样本选择来调节训练，平衡有用的增强与价值高估。

  • 在接触丰富的机器人操作任务上的实验表明，与基线相比，WorldSample 将策略成功率提高了 28%，同时将训练步骤减少了 59%。
  • 该方法在仅演示后训练的基础上，将世界模型的视觉保真度提高了 PSNR 19.4dB 和 SSIM 0.47，验证了真实-合成循环对策略和世界模型性能的有效性。

这种方法通过降低视觉幻觉并减轻训练期间的噪声诱导错误，解决了在真实机器人上部署 RL 的高交互成本问题。