Исследователи предлагают WorldSample, физически обоснованную фреймворк аугментации данных, который замыкает петлю между реальными и синтетическими данными через физические проходы, генерацию модели мира и улучшение политики для обучения с подкреплением на реальных роботах. Система генерирует высокодетализированные синтетические переходы с помощью предварительно обученной модели мира и использует Policy-Paced Learning для регулирования обучения через выбор образцов, балансируя между полезной аугментацией и переоценкой ценности.

  • Эксперименты на задачах манипуляции роботами с частыми контактами показывают, что WorldSample улучшает успешность политики на 28% при этом сокращая количество шагов обучения на 59% по сравнению с базовыми методами.
  • Подход улучшает визуальную детализацию модели мира на 19.4dB в PSNR и 0.47 в SSIM по сравнению с постобучением только на демонстрациях, подтверждая эффективность петли реальных и синтетических данных для производительности как политики, так и модели мира.

Этот метод решает проблему высоких затрат на взаимодействие при развертывании RL на реальных роботах, снижая визуальные галлюцинации и смягчая ошибки, вызванные шумом, во время обучения.