作者提出了 LIME，这是一种视觉-语言模型，通过从 RGB 观测和自然语言意图中预测相对目标姿态，生成语言条件化的相机运动。

  • 该系统从第一人称视频中挖掘多意图监督，将合理的意图与观测增益描述和 SE(3) 目标姿态配对。
  • LIME 结合了自回归的观测增益输出和连续的 flow-matching 姿态头，以联合预测下一个视角应揭示的内容。
  • 这种设计使模型能够表示多假设目标视图，用于检查物体或揭示遮挡区域等任务。

该方法表明，LIME 能够从被动的人类视频中学习主动选择相机姿态，有效地将普通的第一人称记录转化为意图感知的主动感知监督。