著者らは、RGB観測と自然言語の意図から相対的な目標姿勢を予測することで、言語条件付きカメラ動作を生成するビジョン・ランゲージモデルであるLIMEを提案する。

  • システムは自己中心動画から多様な意図の教師信号を採掘し、妥当な意図と観測利得の説明、およびSE(3)目標姿勢をペアリングする。
  • LIMEは自己回帰的な観測利得出力と連続的なフローマッチング姿勢ヘッドを組み合わせて、次のビューが何を明らかにすべきかを共同で予測する。
  • この設計により、モデルは物体の検査や隠れた領域の露出などのタスクに対して、多様な目標ビューの仮説を表現できる。

このアプローチは、LIMEが受動的な人間の動画から能動的にカメラ姿勢を選択することを学習し、通常の自己中心記録を意図認識型アクティブ知覚のための教師信号に変換できることを示している。