Les auteurs proposent LIME, un modèle vision-langue qui génère des mouvements de caméra conditionnés par le langage en prédisant les poses cibles relatives à partir d'observations RGB et d'intentions en langage naturel.
- Le système extrait une supervision multi-intentionnelle à partir de vidéos égocentriques, associant des intentions plausibles à des descriptions de gain d'observation et des poses cibles SE(3).
- LIME combine une sortie de gain d'observation auto-régressive avec une tête de pose par appariement de flux continu pour prédire conjointement ce que la prochaine vue devrait révéler.
- Cette conception permet au modèle de représenter des vues cibles à multiples hypothèses pour des tâches telles que l'inspection d'objets ou la révélation de régions occultées.
L'approche démontre que LIME peut apprendre à choisir activement des poses de caméra à partir de vidéos humaines passives, transformant efficacement les enregistrements égocentriques ordinaires en supervision pour la perception active consciente de l'intention.