研究者らは、物理的ロールアウト、ワールドモデル生成、および強化学習におけるポリシー改善の間にリアルと合成のループを閉じる物理的に根拠のあるデータ拡張フレームワークであるWorldSampleを提案する。このシステムは、ポストトレーニング済みの世界モデルを通じて高忠実度の合成遷移を生成し、サンプル選択を通じてトレーニングを規制し、有用な拡張と価値の過大評価のバランスを取るためにPolicy-Paced Learningを採用している。

  • 接触が豊富なロボット操作タスクでの実験により、WorldSampleはベースラインと比較してポリシーの成功率を28%向上させ、トレーニングステップを59%削減することが示された。
  • このアプローチは、デモンストレーションのみによるポストトレーニングと比較して、PSNRで19.4dB、SSIMで0.47のワールドモデルの視覚的忠実度を向上させ、ポリシーおよび世界モデルのパフォーマンスの両方に対してリアルと合成のループの有効性を検証した。

この方法は、トレーニング中に視覚的幻覚を低減し、ノイズ起因のエラーを緩和することで、実ロボットへのRL展開の高い相互作用コストに対処する。