يقترح المؤلفون LIME، وهو نموذج للرؤية واللغة يولد حركة كاميرا مشروطة باللغة عن طريق التنبؤ بالمواقف النسبية المستهدفة من ملاحظات RGB ونوايا اللغة الطبيعية.
- يستخرج النظام إشرافًا متعدد النوايا من الفيديو الذاتي المركز، مزاوجًا نوايا معقولة مع أوصاف مكسب الملاحظة ومواقف مستهدفة SE(3).
- يجمع LIME بين إخراج مكسب المراجعة ذاتي الانحدار ورأس موقف لمطابقة التدفق المستمر للتنبؤ بشكل مشترك بما يجب أن تكشفه الرؤية التالية.
- يسمح هذا التصميم للنموذج بتمثيل وجهات نظر مستهدفة متعددة الفرضيات لمهام مثل فحص الأجسام أو كشف المناطق المحجوبة.
تُظهر هذه النهج أن LIME يمكنه تعلم اختيار مواقف الكاميرا بنشاط من الفيديو البشري السلبي، محولًا بشكل فعال التسجيلات الذاتية العادية إلى إشراف للإدراك النشط الواعي بالنية.