Para penulis mengusulkan LIME, sebuah model visi-bahasa yang menghasilkan gerakan kamera yang dikondisikan oleh bahasa dengan memprediksi pose target relatif dari pengamatan RGB dan niat bahasa alami.

  • Sistem ini menambang supervisi multi-niat dari video egosentrik, memasangkan niat yang masuk akal dengan deskripsi gain observasi dan pose target SE(3).
  • LIME menggabungkan output gain observasi autoregresif dengan kepala pose pencocokan aliran kontinu untuk secara bersama-sama memprediksi apa yang harus ditunjukkan oleh pandangan berikutnya.
  • Desain ini memungkinkan model merepresentasikan pandangan target hipotesis ganda untuk tugas-tugas seperti memeriksa objek atau mengungkapkan daerah yang terhalang.

Pendekatan ini menunjukkan bahwa LIME dapat belajar memilih pose kamera secara aktif dari video manusia pasif, secara efektif mengubah rekaman egosentrik biasa menjadi supervisi untuk persepsi aktif yang sadar niat.