Peneliti mengusulkan WorldSample, sebuah kerangka augmentasi data yang berlandaskan fisik yang menutup loop real-sintetik antara rollouts fisik, generasi model dunia, dan perbaikan kebijakan untuk pembelajaran penguatan pada robot nyata. Sistem ini menghasilkan transisi sintetis berfidelitas tinggi melalui model dunia pasca-pelatihan dan menggunakan Policy-Paced Learning untuk mengatur pelatihan melalui pemilihan sampel, menyeimbangkan augmentasi yang berguna terhadap overestimasi nilai.

  • Eksperimen pada tugas manipulasi robot yang kaya kontak menunjukkan WorldSample meningkatkan tingkat keberhasilan kebijakan sebesar 28% sambil mengurangi langkah pelatihan sebesar 59% dibandingkan dengan baseline.
  • Pendekatan ini meningkatkan fidelitas visual model dunia sebesar 19.4dB dalam PSNR dan 0.47 dalam SSIM dibandingkan dengan pasca-pelatihan hanya demonstrasi, memvalidasi efektivitas loop real-sintetik untuk kinerja kebijakan dan model dunia.

Metode ini mengatasi biaya interaksi tinggi dari penerapan RL pada robot nyata dengan mengurangi halusinasi visual dan meredam kesalahan yang disebabkan oleh noise selama pelatihan.