WorldSample은 세계 모델링을 사용한 폐루프 RL로 실제 로봇 훈련 개선

연구자들은 물리적 롤아웃, 세계 모델 생성, 그리고 강화 학습을 위한 정책 개선을 사이에 실제-합성 루프를 닫는 물리적으로 근거 있는 데이터 증강 프레임워크인 WorldSample을 제안합니다. 이 시스템은 사후 훈련된 세계 모델을 통해 고품질 합성 전이를 생성하고, 샘플 선택을 통해 훈련을 조절하며 유용한 증강과 가치 과대평가 사이의 균형을 맞추기 위해 Policy-Paced Learning을 사용합니다.

• 접촉이 풍부한 로봇 조작 작업에 대한 실험은 WorldSample이 기준선 대비 정책 성공률을 28% 향상시키고 훈련 단계를 59% 줄임을 보여줍니다.
• 이 접근 방식은 시연 전용 사후 훈련 대비 PSNR에서 19.4dB, SSIM에서 0.47의 세계 모델 시각적 충실도를 개선하여 정책과 세계 모델 성능 모두에 대해 실제-합성 루프의 효과를 검증합니다.

이 방법은 훈련 중 시각적 환각을 줄이고 노이즈로 인한 오류를 완화함으로써 실제 로봇에 RL을 배포하는 높은 상호작용 비용을 해결합니다.